← ИИ для профессионалов: нейросети в ежедневной работе
Lesson
Урок 4.2. Ловим галлюцинации: проверка фактов, цифр и кода
Научиться замечать признаки галлюцинаций и проверять факты, цифры, ссылки и код, понимая, что ответственность за результат лежит на человеке.
Что такое галлюцинации и как их распознать
Что такое галлюцинации и как их распознать
Языковая модель обучается предсказывать следующий токен — то есть её цель это правдоподобие и беглость текста, а не соответствие фактам. Если модель не знает точного ответа, она может «заполнить пробел» убедительно звучащей выдумкой — исследователи называют это галлюцинацией. Важно: полностью устранить галлюцинации невозможно даже у самых передовых моделей 2025–2026 года.
Тревожные признаки, которые должны насторожить: слишком гладкая ссылка или цитата (точный URL, «говорит исследование X»); конкретные цифры без указания источника; уверенный тон в очень нишевой теме, где у модели мало обучающих данных; любые события, произошедшие после даты обрезки знаний модели; арифметические вычисления — модели часто ошибаются в расчётах.
Приёмы проверки зависят от типа утверждения. Факты и цитаты — искать первоисточник и читать его, а не доверять пересказу. Цифры и вычисления — перепроверять вручную или калькулятором. Ссылки на сайты — открывать и смотреть, существует ли страница. Код — запускать и тестировать; не использовать непроверенный код в продакшне.
Главный принцип: ответственность за итог лежит на человеке, а не на модели. Модель может быть уверенно неправа — и это не баг, а особенность архитектуры. RAG-подходы (когда модель получает проверяемые фрагменты из базы знаний) снижают риск, но не устраняют его полностью. Именно поэтому вы — последний рубеж проверки.
Lesson notes
Что такое галлюцинации и как их распознать
Языковая модель обучается предсказывать следующий токен — то есть её цель это правдоподобие и беглость текста, а не соответствие фактам. Если модель не знает точного ответа, она может «заполнить пробел» убедительно звучащей выдумкой — исследователи называют это галлюцинацией. Важно: полностью устранить галлюцинации невозможно даже у самых передовых моделей 2025–2026 года.
Тревожные признаки, которые должны насторожить: слишком гладкая ссылка или цитата (точный URL, «говорит исследование X»); конкретные цифры без указания источника; уверенный тон в очень нишевой теме, где у модели мало обучающих данных; любые события, произошедшие после даты обрезки знаний модели; арифметические вычисления — модели часто ошибаются в расчётах.
Приёмы проверки зависят от типа утверждения. Факты и цитаты — искать первоисточник и читать его, а не доверять пересказу. Цифры и вычисления — перепроверять вручную или калькулятором. Ссылки на сайты — открывать и смотреть, существует ли страница. Код — запускать и тестировать; не использовать непроверенный код в продакшне.
Главный принцип: ответственность за итог лежит на человеке, а не на модели. Модель может быть уверенно неправа — и это не баг, а особенность архитектуры. RAG-подходы (когда модель получает проверяемые фрагменты из базы знаний) снижают риск, но не устраняют его полностью. Именно поэтому вы — последний рубеж проверки.