Нейросеть уверенно придумывает источники, прецеденты и цифры — это встроенная особенность технологии. Почему так происходит и какие приёмы реально снижают долю выдумки.
Юрист приходит в суд со ссылкой на судебный прецедент, которого не существует. Штраф за неуважение к суду. Такие истории происходят ежемесячно по всему миру — Россия, США, Бразилия, Япония. Причина одна — галлюцинации языковых моделей и привычка им верить.
Что такое галлюцинация
Галлюцинация — уверенный ответ модели, который звучит правдоподобно и убедительно, но при этом является ложью. Модель не «знает», когда лжёт. Она предсказывает наиболее вероятное продолжение текста и старается вписаться в контекст вопроса. Хорошая визуальная метафора — неразборчивая надпись на вывеске. Издали читабельно, а начнёшь вчитываться буква за буквой — ерунда.
Ключевое, что нужно понять. Галлюцинации — архитектурная особенность языковых моделей, встроенная в саму их природу. Это не временный баг, который скоро починят. Не существует промпта или технологии, полностью их устраняющей.
Почему модель выдумывает
Модели обучены на огромных массивах текста из интернета, включая форумы и Реддит, а интернет полон неточной информации, которую модель не умеет проверять. Вторая причина важнее. Модели вознаграждаются за правильные ответы и не наказываются за неправильные. ОпенАИ приводит точную аналогию — студент на экзамене. Скажет «не знаю» — гарантированная двойка. Скажет хоть что-нибудь — есть шанс, что прокатит. Поэтому модель всегда угадывает.
Рядом живёт ещё один механизм — подхалимаж. Модель стремится дать ответ, который вы хотите услышать. Начнёте спорить — она уступит, даже когда права была она. Поэтому переспрашивать модель «ты уверена?» бессмысленно, честного возражения не будет.
[Место под скриншот — слайд «7.25 Подхалимство модели», презентация /edu/speaker/walkthrough]
Как это выглядит на практике
Модель с полной уверенностью придумывает источники, несуществующих профессоров, страницы книг и ISBN-коды. Показательный пример — вопрос про актёра Роберта Патрика, сыгравшего Т-1000 в «Терминаторе-2». Модель уверенно сообщила выдуманный факт про импровизацию на съёмках, которой в реальности не было. Пока речь о кино, это безобидно. Опасно, когда тот же механизм срабатывает в трёх зонах высокой ответственности — законодательство, финансы, здоровье. Банк России в докладе о рисках ИИ прямо пишет, что галлюцинации приводят к финансовым потерям, и отвечает за них организация, а не разработчик модели.
На живых обучениях это видно каждый раз. Модель пишет в приглашении «в субботу 31 мая», хотя суббота была 30-го. В присланном ТЗ спокойно оставляет прописанную скидку 40 процентов клиенту — ей всё равно, это не её деньги. Сюда же встроенная предвзятость. Модели сами добавляют «устойчивое развитие» в любую программу и могут молча подставить БиБиСи в список новостных источников. Это отслеживается и убирается только руками.
[Место под скриншот — слайд «Галлюцинации», презентация /edu/speaker/walkthrough]
Что реально снижает долю выдумки
Точный и конкретный промпт с подробным контекстом — модель выдумывает там, где ей не хватает фактов. Свои проверенные документы — просите отвечать по загруженному файлу и запрашивайте конкретные цитаты, которые можно сверить с исходником. Приём «задай мне пять уточняющих вопросов» — заставляет модель вытащить из вас контекст до ответа. Для точных задач помогает формулировка на английском. И железное правило для зон ответственности — любые ссылки, номера документов и цифры проверяются руками, всегда.
[Место под скриншот — слайд «4.16 Контекст — лекарство от галлюцинаций», презентация /edu/speaker/walkthrough]
Полезно знать и обратный навык — опознавать сгенерированный текст. Устойчивые маркеры такие. Двоеточие плюс три пункта, стрелочки, антитезы вида «не просто идея, а решение», слишком гладкий текст без шероховатостей живой речи. Один маркер ничего не значит, комбинация нескольких — повод перечитать и проверить факты.
Главная защита — ваша экспертиза
Когнитивной атрофией называют постепенную потерю навыка проверки у специалистов, привыкших доверять модели. Юрист из начала статьи пострадал не из-за нейросети. Он перестал проверять. Модель остаётся генератором черновиков, который выдаёт 75–80 процентов результата. Если вы в теме — поймаете ошибку и доведёте текст до рабочего состояния. Если нет — уверенно понесёте выдумку дальше. Разница между этими сценариями и есть ваша экспертиза.
Разбор галлюцинаций на живых примерах — часть корпоративного обучения по ИИ.