Модель уверенно называет несуществующие статьи и приводит недействующие редакции, причём тем убедительнее, чем формальнее задан вопрос. Механика этой ошибки и единственная связка, которая работает с российской нормативкой.
Сотрудница отдела кадров просит адаптировать типовой трудовой договор под изменения законодательства. Инженер — проверить проект по своду правил. Два запроса из разных отраслей, сформулированные почти одинаково, и звучат они постоянно. В выборке из 35 разобранных лекций тема нормативных документов возникала в 32.
Запрос понятный, задача выглядит подъёмной, а ответ на неё неудобный. Нормативка — та зона, где вероятность галлюцинации максимальна. Модель уверенно называет несуществующие статьи, приводит недействующие редакции и ссылается на отменённые документы, причём делает это тем убедительнее, чем формальнее задан вопрос. Разбирать это приходится с механики, иначе рекомендация выглядит как каприз осторожного лектора.
Норма выглядит для модели как обычный текст
Большая языковая модель предсказывает следующий элемент текста исходя из предыдущих. Ближайший бытовой аналог — T9 на кнопочном телефоне, с одной поправкой. T9 смотрела на одно предыдущее слово, современная модель смотрит на весь контекст целиком. Никакого отдельного механизма для юридических текстов внутри нет. Постановление, договор и рецепт борща проходят через одну и ту же процедуру.
У нормативного текста при этом самая узнаваемая форма из всех, что вообще встречаются в письменной речи. Нумерация статей и пунктов, устойчивые канцелярские обороты, отсылки вида «в соответствии с пунктом 2 части 1 статьи…», реквизиты документа с датой и номером. Для механизма, который достраивает правдоподобное продолжение, такая форма — самый простой материал в мире. Модель воспроизводит её безупречно.
Отсюда и главная ловушка. «Статья 136» и «статья 236» — одинаково правдоподобные последовательности, и выбор между ними делается по вероятности. Факт существования нормы в этом выборе не участвует вовсе. То же самое происходит с номерами СП, с датами редакций, с реквизитами приказов. Модель придумывает несуществующих профессоров, несуществующие страницы книг и ISBN-коды — номер пункта свода правил ничем принципиально от них не отличается.
Срез обучающих данных не совпадает с действующей редакцией
Вторая причина работает независимо от первой, и она проще. У обучающей выборки есть дата, после которой модель ничего не знает. У закона есть дата, с которой он действует. Эти две даты не совпадают никогда.
Показательный пример лежит буквально под рукой. Первый российский закон об искусственном интеллекте — Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации» — Госдума приняла 8 июля 2026 года, Совет Федерации одобрил 17 июля, президент подписал 26 июля, опубликован он 31 июля, а основные нормы работают с 1 сентября 2026 года. Модель, у которой обучающие данные закончились весной, расскажет вам, что закона нет, есть только законопроект, отправленный на доработку после первого чтения. Ответ будет спокойным, связным и на весну совершенно верным.
Дальше становится интереснее. Законопроект начинался как закон о регулировании, а принят как закон о развитии, и это смена адресата — основное содержание касается разработчиков, условий работы и подключения дата-центров. Из ранних версий убрали два самых обсуждаемых пункта. Обязательную маркировку сгенерированного контента заменили на возможность разместить информационное предупреждение, а право потребовать, чтобы обращение обрабатывал человек, исключили целиком. Модель, обученная на весенних обсуждениях, перескажет оба этих пункта как действующие нормы, потому что в её выборке они обсуждались активнее всего.
Честно скажу, я держал устаревшую формулировку и в собственных материалах. Свод лекций описывал закон как непринятый законопроект ещё в начале сентября, спустя полтора месяца после подписания. Дело не в качестве материала. Дата сборки — такой же его параметр, как содержание, просто у документа её видно, а у обучающей выборки модели вам её никто не покажет.
Норма, которая изменится под вами
Отдельно стоит разобрать случай, когда правильный ответ меняется дважды за год. Тема маркировки сгенерированного контента как раз такая, и она удобна для проверки собственных представлений.
В принятом законе речь идёт о возможности разместить информационное предупреждение, если материал в аудио- или визуальной форме создан с применением базовой модели. Отдельно такая возможность предусмотрена для крупных площадок и персональных страниц с аудиторией больше 500 тысяч пользователей в сутки. Параллельно в работе находится законопроект № 1317978-8, который предлагает заменить возможность предупреждения на обязанность маркировать материал, созданный или изменённый с применением базовой модели. Формат и порядок маркировки должно установить Правительство, предполагаемая дата вступления — 1 марта 2027 года. В Евросоюзе аналогичное требование уже работает, с 2 августа 2026 года применяется статья 50 Акта об искусственном интеллекте, обязывающая раскрывать факт взаимодействия с ИИ.
Спросите про маркировку любую модель, и вы получите одно из трёх состояний этой нормы, причём без указания, какое именно. Обязательная маркировка из ранних версий законопроекта, добровольное предупреждение из принятого текста или будущая обязанность из нового законопроекта — все три формулировки существуют в текстах, на которых модели учились, и все три звучат одинаково уверенно.
Практический вывод для организации от модели не зависит вовсе. Решать, кто проверяет факт применения ИИ во внешних материалах и где именно ставится предупреждение, стоит заранее, до того как обязанность появится в законе.
Чем формальнее вопрос, тем убедительнее ошибка
Это самая контринтуитивная часть, и на ней ошибаются даже осторожные пользователи. Формальность запроса задаёт форму ответа. На достоверность она не влияет никак. Попросите «указать пункт, подпункт и редакцию» — получите пункт, подпункт и редакцию. Попросите оформить ответ как правовое заключение — получите правовое заключение со структурой, ссылками и оговорками. Всё, что относится к форме, модель выполнит идеально. Всё, что относится к существованию нормы, останется непроверенным.
Хорошая метафора здесь — неразборчивая надпись на вывеске. Издали кажется, что всё нормально и читабельно. Стоит начать вчитываться, буква за буквой, и видно, что там написана ерунда.
Механизм, из-за которого модель предпочитает выдумать вместо того, чтобы промолчать, ОпенЭйАй объясняет через студента на экзамене. Скажешь «я не знаю» — почти наверняка двойка. Скажешь хоть что-нибудь — есть шанс, что прокатит. Модели вознаграждаются за правильные ответы и не наказываются за неправильные, поэтому угадывание для них выгоднее отказа. Отдельным обновлением это не чинится, свойство встроено в саму архитектуру. Галлюцинации с нами примерно навсегда, и подробно эта механика разобрана в статье «Почему нейросеть выдумывает факты».
Повторяемость ответа ничего не доказывает
Самая распространённая самопроверка выглядит так — спросить трижды, а если ответ один и тот же, счесть его надёжным. В нормативных вопросах эта проверка не работает вообще.
Ответ модели по умолчанию усреднённый, собранный из наиболее вероятных продолжений, и в ту же механику заложен процент ошибки. Если в обучающих данных встречается устойчивая ошибка, модель будет стабильно её воспроизводить. Уязвимость здесь меньше, чем принято думать. Антропик публиковала исследование, из которого следует, что для отравления модели по узкой теме достаточно порядка двух-трёх сотен документов. Не миллионов и не тысяч. Устаревшая редакция статьи, размноженная по сайтам-агрегаторам законодательства, набирает такой объём легко.
Поэтому три одинаковых ответа означают ровно одно — модель трижды прошла по одному и тому же вероятностному маршруту. Ошибка живёт в обучающей выборке. Повторный вопрос внутри диалога до неё не достаёт и исправить её не может.
Рядом стоит вторая ловушка. Модели обучены угождать собеседнику. Если вы уточняете «а точно ли это статья 136», в вопросе уже содержится номер, и модель с высокой вероятностью с ним согласится. Если начнёте спорить — уступит, даже когда права была она. Проверять норму у той же модели, которая её назвала, бессмысленно по устройству диалога.
Цена ошибки в этой зоне выше средней
Законодательство входит в три зоны высокой ответственности вместе с финансами и здоровьем. Это те области, где модель ошибается с наибольшей уверенностью, а последствия наступают быстро и в деньгах.
Юристы, пришедшие в суд со ссылкой на несуществующий прецедент, — уже не экзотика, такие случаи происходят ежемесячно по всему миру, от России и США до Бразилии и Японии. В России за это выписывали штраф порядка 60 тысяч рублей за неуважение к суду. Проблема при этом возникла не в тот момент, когда юрист открыл чат. Она возникла раньше, когда проверка источников перестала быть обязательным шагом. Постепенная потеря навыка самостоятельной верификации называется когнитивной атрофией и проявляется одинаково у юристов, врачей, разработчиков и аналитиков. Мышца деградирует, если её не нагружать.
Ошибка в этой зоне редко выглядит как ошибка. В лекциях я разбираю совет модели рассчитываться биткоином при экспорте в Алжир — совет звучит абсолютно разумно ровно до того момента, когда выясняется, что в Алжире за операции с криптовалютой предусмотрено уголовное преследование. Формально модель ответила на заданный вопрос и даже предложила рабочую схему. Правовой контекст конкретной страны в этой схеме просто отсутствовал, и заметить его отсутствие по тексту ответа невозможно.
Из этого следует правило, которое стоит закрепить до всякой автоматизации. Необратимые действия не делегируются модели без человеческого одобрения. Отправка писем, публикации, декларации, транзакции и подписанные документы проходят через человека, а всё, что модель сгенерировала по нормативному вопросу, остаётся черновиком до проверки.
Что действительно работает на российском рынке
Единственное решение, которое адресует проблему по-настоящему, — сервис, который Яндекс сделал в паре с «Гарантом». В лекциях он проходит под названием Нейроюрист, стоит около 5 000 рублей в месяц и устроен принципиально иначе. Ответ там строится по актуальной правовой базе, и ссылки гарантированно ведут на существующие нормативные акты РФ. Класс ошибок с выдуманными реквизитами в нём просто отсутствует. У «Консультант Плюс» аналогичного сервиса на момент разбора не было.
Отдельно стоит отметить связку Алисы с «Гарантом». Она заметно лучше подхватывает российскую нормативную базу, включая своды правил, и это регулярно отмечают инженеры и проектировщики в аудитории. Для вопроса «что говорит СП по этому узлу» разница с обычным чатом видна сразу.
Отдельный вопрос — что делать, когда подписки на правовой сервис нет, а ответ нужен сегодня. Минимальная гигиена ничего не стоит и занимает пару минут. Любой номер статьи, реквизит документа и дата редакции, которые модель назвала, проверяются в открытой части справочной правовой системы перед тем, как попасть в рабочий документ. Проверка сводится к одному вопросу — существует ли названный документ и действует ли он в этой редакции сегодня. Алиса доступна по адресу alis.yandex.ru и для разовой сверки нормы годится вполне.
Честная граница у этого решения тоже есть, и называть её нужно сразу. Снимается класс ошибок с несуществующими ссылками и недействующими редакциями. Интерпретация нормы, спорные толкования и вывод о соответствии остаются человеческой работой. Правовая система показывает текст, решение о применимости принимает специалист.
Что модели можно поручить и что нельзя
| Модель справляется | Модель не справляется |
|---|---|
| Разобраться в формулировке и объяснить смысл нормы простым языком | Установить, какая редакция действует сегодня |
| Подготовить черновик документа и предложить структуру | Подтвердить, что документ соответствует требованиям |
| Сопоставить разные формулировки одного и того же требования | Назвать номер статьи и поручиться, что она существует |
| Собрать список вопросов к юристу по спорным местам | Проверить, не отменён ли документ |
Разделение проходит по одной линии, и она объясняет всю таблицу целиком. Работа со смыслом текста, который у вас уже есть, — сильная сторона модели. Установление факта о состоянии правовой базы на сегодняшнюю дату находится за пределами того, что она вообще способна делать. Первый шаг остаётся за моделью, проверка — за правовой системой и юристом.
Приём, который снимает половину проблемы
Из механики следует простое практическое действие. Вопрос о законе нужно превратить в вопрос о тексте, который вы принесли сами. Скопируйте действующую редакцию нормы из правовой системы в чат и задайте вопрос по ней. Тогда модель работает с текстом перед глазами, и её собственная память о законе в ответе не участвует.
Это один из трёх приёмов, которые реально снижают частоту галлюцинаций, наряду с более точными промтами и формулировкой сложных запросов на английском. Собственные проверенные источники работают лучше двух других.
Сотруднице отдела кадров из первого абзаца это меняет постановку задачи целиком. Список изменений берётся из справочной правовой системы, модель получает старую и новую редакции статьи вместе с текстом договора, а задача формулируется как «вот действующая редакция, вот наш пункт — покажи расхождения и предложи правку». Трудозатрат почти столько же, сколько на «адаптируй под изменения законодательства», а надёжность отличается принципиально.
Инженеру подходит тот же приём со сводом правил, плюс отдельная задача, которую проектные подразделения недооценивают. Сопоставление разных формулировок одного и того же требования — «монтаж вентиляции», «вентиляционный монтаж», «установка воздуховодов» — решается моделью уже сегодня и без всяких проектов. Для сверки смет, спецификаций и предложений подрядчиков это даёт эффект быстрее, чем любые попытки получить от модели ссылку на пункт.
Чтобы это работало автоматизированно, нужен проект
Дальше обычно звучит следующий вопрос. Можно ли сделать так, чтобы изменения в законе сами подтягивались в типовые документы организации. Можно, и подпиской на чат это не решается. Нужна система — RAG по актуальной правовой базе с регулярным обновлением. RAG работает как умный библиотекарь, который сначала находит нужный документ, а потом отвечает по нему.
Ключевые слова здесь — «с регулярным обновлением». База, собранная один раз и оставленная в покое, устаревает ровно так же, как обучающая выборка модели, только заметно быстрее. Порядок цифр по такому проекту — пилот от 0,5 до 1 млн рублей, полноценное внедрение около 3 млн, срок от двух до четырёх месяцев. Скрытая статья расходов — подготовка и нарезка документов, до половины трудозатрат проекта. Это отдельная работа с бюджетом и ответственным. На вечер такая задача не решается.
Вопрос ответственности при этом остаётся открытым и решается внутри организации. Банк России конкретных запретов на использование ИИ не вводит, ограничиваясь рекомендациями по управлению рисками, при этом его доклад прямо фиксирует, что галлюцинации приводят к финансовым потерям и репутационным последствиям. Как выглядит внедрение с распределённой ответственностью и позицией регулятора, разобрано в статье «Искусственный интеллект в банке — что внедряют и что говорит регулятор».
Общий принцип шире нормативки
Маршрут, который здесь описан, повторяется в трёх разных областях, и это не совпадение. Точную цифру считает Excel, поэтому языковая модель пишет формулу, а арифметику выполняет таблица. Продажи по регионам знает BI-система, поэтому встроенный ИИ-аналитик в Яндекс ДатаЛенс или СберАналитике отвечает про них без галлюцинаций — он обращается к числам как к числам. Действующие редакции хранит правовая база, и маршрут для нормативного вопроса устроен точно так же.
Языковая модель хорошо объясняет и плохо помнит. Действующая редакция закона — это факт с датой, и получать его нужно там, где эту дату кто-то поддерживает в актуальном состоянии. Правдоподобное продолжение текста фактом не становится, каким бы уверенным ни был тон ответа.