Podlodka Podcast

В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Стас Цыганов, Аня Симонова Полезные ссылки: Archestra.AI https://archestra.ai Блог Simon Willison https://simonwillison.net/2025/Sep/18/agents/ Статья “Why AI systems may never be secure, and what to do about it” https://www.economist.com/science-and-technology/2025/09/22/why-ai-systems-may-never-be-secure-and-what-to-do-about-it Статья “Anthropic: How we built our multi-agent research system” https://simonwillison.net/2025/Jun/14/multi-agent-research-system/ Статья “An Introduction to Google’s Approach to AI Agent Security” https://simonwillison.net/2025/Jun/15/ai-agent-security/ Google's Approach for Secure AI Agents https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents/ Статья “Design Patterns for Securing LLM Agents against Prompt Injections” https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/ Код для статьи "Defeating Prompt Injections by Design" https://github.com/google-research/camel-prompt-injection Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“ https://simonwillison.net/2025/Apr/11/camel/

В этом выпуске разбираемся, что такое векторные базы данных – зачем они понадобились, если есть SQL и текстовый поиск, как устроены под капотом и в чём их ключевое отличие от привычных подходов. Объясняем простыми словами: как данные превращаются в векторы, как по ним происходит быстрый поиск и почему это вообще работает. В гостях Андрей Васнецов – основатель Qdrant. Вместе обсуждаем, откуда пошёл хайп, что изменилось с приходом LLM, как на практике применяются векторные базы (не только в RAG), какие есть популярные движки и встроенные решения в Postgres и ClickHouse, а также с какими подводными камнями, ограничениями и компромиссами сталкиваются команды при работе. Партнёр команды Podlodka — наши давние друзья @AvitoTech. Это команда с крутыми процессами, культурой здравого смысла и эксперимента. Узнать про их технологии, подходы и прокачку компетенций в командах можно по ссылкам: Статья “Как DS-инженеры совершенствуют автогенерацию описаний и пополняют индекс объявлений Авито” https://clc.to/G1TJ5g Статья “Как аналитики Авито с помощью ML помогают людям выбирать хорошие авто с пробегом” https://clc.to/TMFC5A Реклама. ООО "Авито Тех”, ИНН 9710089440, erid:2SDnjdPnvxw Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Андрей Смирнов, Егор Толстой Полезные ссылки: Интервью Осетинской https://youtu.be/_GwPpxtMcNs Андрей в подкасте TeamleadTalks https://youtu.be/agYxjnc8mdU Главная разработка Андрея https://github.com/qdrant

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Женя Кателла, Андрей Смирнов Полезные ссылки: Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ Attention is all you need https://arxiv.org/abs/1706.03762 Illustrated BERT https://jalammar.github.io/illustrated-bert/ GPT-family models overview https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/ A bit of overview of tokenization https://huggingface.co/learn/llm-course/en/chapter6/1

Сегодня AI внедряют во всё: от образования и медицины до финтеха и путешествий. Но что на самом деле означает «AI-продукт» и чем он отличается от классического? Вместе с Анной Подображных разбираем полный цикл их создания: от первых прототипов и проверки гипотез ценности до бенчмарков и эвалов, помогающих измерять качество. Обсуждаем почему важно и как проверить технологическую реализуемость. Этот выпуск – практическая карта для тех, кто хочет осознанно строить AI-продукты. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Стас Цыганов, Андрей Смирнов Партнёр эпизода — @trisigma_avito. Это платформа для проведения A/B-экспериментов, анализа результатов и управления процессом тестирования от Avito Tech. Узнать больше о Trisigma можно по ссылке: https://clc.to/5mRShQ Реклама. ООО "Авито Тех”, ИНН 9710089440, erid:2SDnjcX1Ktr

Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один язык программирования, за что энтузиасты любят его, и есть ли шанс у “Elixir для хипстеров” на реальную популярность? Разбираем философию языка и его ключевые фичи с контрибьютером Gleam и CPython-core-разработчиком Никитой Соболевым! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Катя Петрова, Андрей Смирнов Полезные ссылки: Документация Gleam https://gleam.run/cheatsheets/gleam-for-python-users/ Курс по Gleam https://tour.gleam.run Gleam v1.11.0 https://gleam.run/news/gleam-javascript-gets-30-percent-faster/

Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и как от этого защититься. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Женя Кателла, Аня Симонова Полезные ссылки: Прогноз AI-2027 https://ai-2027.com/ Про XAI https://transformer-circuits.pub/2024/scaling-monosemanticity/umap.html?targetId=1m_284095 Открытые вакансии в Palisade Research https://global.palisaderesearch.org/hiring-global Про отравление датасетов https://arxiv.org/abs/2410.13722 Примеры того, как этим занимаются https://www.heise.de/en/news/Poisoning-training-data-Russian-propaganda-for-AI-models-10317581.html

В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по всему числовому зоопарку: обсудили, зачем нужны разные типы, где они подводят, и почему 0.1 + 0.2 ≠ 0.3 – не баг, а особенность. Разбираемся, как работают переполнения, откуда берётся погрешность, можно ли использовать float для денег (спойлер: нельзя), и что общего между округлением и падением ракеты. А ещё вспомнили любимые числовые фэйлы, сравнили числа в разных языках программирования и даже сыграли в игру на угадывание результатов арифметических операций. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Андрей Смирнов, Стас Цыганов Полезные ссылки: Пост, после которого мы решили звать Никиту https://t.me/nikitonsky_pub/897

Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей под капотом, как их обучают и верифицируют результаты работы, мы пригласили Евгения Никишина, исследователя из OpenAI, работающего над масштабированием reasoning моделей и test-time compute. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Катя Петрова, Егор Толстой Полезные ссылки: Личный сайт Жени https://evgenii-nikishin.github.io/ Learning to reason with LLMs https://openai.com/index/learning-to-reason-with-llms/ Бумага “The Illusion of Thinking” от Apple https://machinelearning.apple.com/research/illusion-of-thinking DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning https://arxiv.org/abs/2501.12948 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models https://arxiv.org/abs/2201.11903

В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая банковская система. В этом классическом языковом выпуске вместе с Сергеем Куксом, principal инженером из JetBrains, разбираемся с тем, что когда-то помогло COBOL стать таким популярным, и как он продолжает развиваться по сегодняшний день. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Катя Петрова, Егор Толстой Полезные ссылки: Документация COBOL для новичков https://www.microfocus.com/documentation/visual-cobol/vc80/EclWin/index.html?t=GUID-7D9BBE92-0AD8-4DDC-975A-FA92A55D7187.html Про Micro Focus https://www.opentext.com/about/brands/microfocus Как работает фича ReportWriter https://www.microfocus.com/documentation/visual-cobol/vc80/VS2022/index.html?t=HRLHLHWRI01.html Awesome COBOL https://github.com/loveOSS/awesome-cobol

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!» Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги моделей, и какие есть способы сделать их надёжнее. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Катя Петрова, Стас Цыганов Полезные ссылки: Статья Business Insider о ChatGPT https://www.businessinsider.com/sam-altman-chatgpt-yes-man-mode-gpt5-personalities-sycophantic-2025-8?utm_source=reddit.com О Полине Кириченко https://polkirichenko.github.io/ Twitter Полины https://x.com/polkirichenko LinkedIn Полины https://www.linkedin.com/in/polkirichenko/ Ссылки на статьи https://scholar.google.com/citations?user=05uQHIgAAAAJ&hl=en&oi=ao