Связаться с нами
ИИ и машинное обучение
Что такое галлюцинации AI?
Галлюцинация AI (hallucination) — это ответ языковой модели, который звучит уверенно и правдоподобно, но на самом деле ложный: выдуманная цитата, несуществующая функция библиотеки, придуманный номер закона или ссылка, которая никуда не ведёт.
Причина — в самом принципе работы модели. Она предсказывает правдоподобное продолжение текста, а не проверяет его по источнику. Если точного факта в обучающих данных не было, модель всё равно выдаст вариант, «похожий на правду», потому что промолчать для неё не естественнее, чем ответить.
Риск можно уменьшить, но не убрать полностью: добавлять проверенные источники через RAG, просить модель ссылаться на конкретные фрагменты, разрешать ответ «не знаю» и оставлять важные решения на проверку человеку.
Где встречаются галлюцинации
С галлюцинациями сталкивается каждый, кто использует модели в работе: выдуманная функция библиотеки в коде, несуществующий пункт закона в юридической справке, придуманная ссылка в подборке источников, неправильная цифра в пересказе отчёта.
Поэтому в рабочих процессах галлюцинации не «лечат», а ограничивают. Модели дают конкретные документы вместо опоры на память, просят указывать источник каждого утверждения, добавляют автоматические проверки формата и фактов, а на ответственных этапах оставляют подтверждение человеком.
Пример
Типичная ситуация: модель уверенно называет метод библиотеки, которого не существует. Код выглядит правильным и падает только при запуске. Поэтому результат работы AI всегда стоит проверять.
Частые вопросы
Почему языковые модели выдумывают факты?
Потому что модель предсказывает правдоподобное продолжение текста, а не проверяет факты. Она не знает, чего именно не знает, поэтому заполняет пробел самым вероятным по форме вариантом — уверенным и грамматически правильным.
Как уменьшить количество галлюцинаций?
Передавать модели исходные документы и требовать отвечать только по ним, просить ссылки на конкретные фрагменты, разрешать ответ «в предоставленных материалах этого нет», снижать температуру и проверять важные данные автоматически или вручную.
Можно ли полностью избавиться от галлюцинаций?
Нет, это следствие самого принципа работы модели, а не ошибка, которую можно исправить. Правильные подходы значительно уменьшают количество галлюцинаций, но не до нуля. Поэтому в медицине, праве и финансах проверка человеком остаётся обязательной.
Как распознать галлюцинацию?
Настораживать должны конкретные детали, которые легко проверить: точные цитаты, номера, ссылки, названия методов и параметров. Именно они чаще всего оказываются выдуманными. Уверенный тон ничего не гарантирует — он одинаковый и в правильных, и в ложных ответах.
Обучение программированию в OWU
Освойте профессию в IT на практических курсах с менторами и реальными проектами.
Выбрать курс