← ИИ для профессионалов: нейросети в ежедневной работе
Lesson
Урок 1.3. Память на один разговор: токены и контекстное окно. Что модель умеет и не умеет
Понять, что текст обрабатывается токенами в ограниченном контекстном окне (длинный контекст вытесняет раннее, прошлые сессии не помнятся), и составить честную карту сильных и слабых сторон LLM.
Токены, контекст и честная карта возможностей
Что модель помнит и что забывает
Модель обрабатывает текст не посимвольно и не пословно, а токенами — кусочками текста, которые могут быть словом, частью слова, знаком препинания или несколькими символами. Всё, что видит модель в один момент, — это контекстное окно: ограниченный «экран», вмещающий определённое число токенов. Если разговор становится очень длинным, ранние сообщения буквально выпадают из этого окна и модель их «не видит».
Важнее всего: без специальных инструментов модель не помнит прошлые сессии. Каждый новый разговор начинается с чистого листа. Никакой «личной памяти» о том, что вы обсуждали вчера, у модели нет, если только вы не вставили эту информацию в текущий контекст.
Чтобы использовать LLM продуктивно, стоит знать её сильные и слабые стороны. Сильные стороны: черновики и редактура текста, суммаризация больших фрагментов, перефразирование, объяснение концепций простым языком, мозговой штурм идей, рутинный код и шаблонные письма. Слабые стороны: точные факты без указания источника, свежие события после даты обучения, точная арифметика без специального инструмента, юридически или медицински значимые решения без верификации специалистом.
Lesson notes
Что модель помнит и что забывает
Модель обрабатывает текст не посимвольно и не пословно, а токенами — кусочками текста, которые могут быть словом, частью слова, знаком препинания или несколькими символами. Всё, что видит модель в один момент, — это контекстное окно: ограниченный «экран», вмещающий определённое число токенов. Если разговор становится очень длинным, ранние сообщения буквально выпадают из этого окна и модель их «не видит».
Важнее всего: без специальных инструментов модель не помнит прошлые сессии. Каждый новый разговор начинается с чистого листа. Никакой «личной памяти» о том, что вы обсуждали вчера, у модели нет, если только вы не вставили эту информацию в текущий контекст.
Чтобы использовать LLM продуктивно, стоит знать её сильные и слабые стороны. Сильные стороны: черновики и редактура текста, суммаризация больших фрагментов, перефразирование, объяснение концепций простым языком, мозговой штурм идей, рутинный код и шаблонные письма. Слабые стороны: точные факты без указания источника, свежие события после даты обучения, точная арифметика без специального инструмента, юридически или медицински значимые решения без верификации специалистом.