Токены и контекст: что видит модель

В четвртом выпуске продолжаем разбираться, как большие языковые модели на самом деле обрабатывают текст. В этом выпуске мы копаемся под капотом и узнаём: LLM не работают со словами — они мыслят токенами. Что это за единицы? Как они формируются? Почему одно слово может превратиться в несколько токенов?

Также говорим о контекстных окнах — ограничении на объём информации, с которым модель может работать одновременно. Узнаем, что происходит, если окно переполнено, почему модели “забывают” начало диалога, и как позиционные эмбеддинги помогают сохранять порядок слов.

Мы в телеграм t.me/vibe_agents

Создано с помощью NotebookLM