← ИИ для профессионалов: нейросети в ежедневной работе
Lesson
Урок 1.2. Почему модель уверенно врёт: галлюцинации
Понять, почему LLM может уверенно выдумывать факты, ссылки и цифры (галлюцинации) — потому что обучение оптимизирует правдоподобие, а не истинность, — и где это особенно опасно.
Что такое галлюцинации и откуда они берутся
Уверенный тон не равно правильный ответ
Галлюцинация в контексте LLM — это правдоподобно звучащий, но фактически неверный или неподтверждённый вывод. Модель может назвать несуществующую книгу с реальным автором, процитировать статью с выдуманным DOI, привести статистику с точными цифрами, которых нигде нет — и всё это уверенным, деловым тоном.
Причина лежит в самом устройстве обучения. Цель — генерировать беглый, правдоподобный текст, а не текст, соответствующий реальным фактам. Метрики, которые штрафовали бы модель за ответ «я не знаю», подталкивают её угадывать и «блефовать» — выдавать то, что статистически похоже на правильный ответ, даже когда уверенности нет. Это не злой умысел и не ошибка в коде; это следствие того, как оптимизируется модель.
Важно понять: галлюцинации полностью не устранимы даже у самых передовых моделей. Их можно снизить (например, с помощью RAG — подачи реальных источников в контекст), но не исключить. Особенно опасны галлюцинации там, где ошибку трудно заметить: юридические ссылки, медицинские данные, финансовые цифры, академические источники. Правило простое: уверенный тон модели — не гарантия правоты.
Lesson notes
Уверенный тон не равно правильный ответ
Галлюцинация в контексте LLM — это правдоподобно звучащий, но фактически неверный или неподтверждённый вывод. Модель может назвать несуществующую книгу с реальным автором, процитировать статью с выдуманным DOI, привести статистику с точными цифрами, которых нигде нет — и всё это уверенным, деловым тоном.
Причина лежит в самом устройстве обучения. Цель — генерировать беглый, правдоподобный текст, а не текст, соответствующий реальным фактам. Метрики, которые штрафовали бы модель за ответ «я не знаю», подталкивают её угадывать и «блефовать» — выдавать то, что статистически похоже на правильный ответ, даже когда уверенности нет. Это не злой умысел и не ошибка в коде; это следствие того, как оптимизируется модель.
Важно понять: галлюцинации полностью не устранимы даже у самых передовых моделей. Их можно снизить (например, с помощью RAG — подачи реальных источников в контекст), но не исключить. Особенно опасны галлюцинации там, где ошибку трудно заметить: юридические ссылки, медицинские данные, финансовые цифры, академические источники. Правило простое: уверенный тон модели — не гарантия правоты.