Галлюцинации в результатах ответа — проблема, которую невыгодно устранять Нейросетки галлюцинируют. Это все знают и это само по себе уже притча во языцех. Я приводил аналогию с кириллицей в голливудских фильмах, чтобы дать хоть какой-то…
Галлюцинации в результатах ответа — проблема, которую невыгодно устранять
Нейросетки галлюцинируют. Это все знают и это само по себе уже притча во языцех. Я приводил аналогию с кириллицей в голливудских фильмах, чтобы дать хоть какой-то механизм их распознавания (спойлер — только быть экспертом в той области, про которую спрашиваешь). Мне ещё нравится, что Нано Банана нагенерила мне картинку с галлюцинацией к этому посту
Вот в очередном Докладе Важных Индусов из ОпенАИ на arXiv (это типа официальной КиберЛенинки) на всякий случай подробно описан механизм даже
В случае неуверенности, студенты могут строить догадки на экзаменах с несколькими вариантами ответов и даже блефовать на письменных экзаменах, представляя правдоподобные ответы.
Языковые модели оцениваются с помощью аналогичных тестов. Угадывание при неуверенности увеличивает ожидаемый результат по бинарной схеме 0:1, при которой за правильный ответ начисляется 1 балл, а за пропуски или честно «я не знаю» — 0 баллов
Нейронки — это такой синдром отличницы на стероидах. За неправильный ответ им никогда не предстоит получить удар в лицо, а вот если вдруг отгадают — их учёные похвалят
Там же в тексте статьи приводят очевидное решение:
🍪 за правильный ответ давать нейропеченьку,
😵за неправильный бить током (или, видимо, отключать ток),
🤷♂️за отсутствие ответа ничего не делать
И дальше совершенно прекрасный в своей искренности и безысходности пассаж
Это социально-техническая проблема в том смысле, что необходимо не только изменить существующие механизмы обучения, но и внести эти изменения в методику формирования таблицы лидеров [Больших языковых моделей]
То есть «Если мы сделаем слишком честную модель, то получим меньше пятёрок на ваших экзаменах. Давайте-ка все вместе внедрять, а ещё лучше — давайте полностью поменяем систему оценки»
Дополнительная ирония, конечно, в том, что это хоть и научная статья, но от сотрудников ОпенАИ. Казалось бы — ну вот покажите отрасли пример, сделайте идеальную и без галлюцинаций и стойте на своём. Но нет, учёные просто слёзно просят всех остальных производителей сделать своих нейроболванов рыночно невостребованными
В общем, когда в следующий раз нейроночка вам скажет «грибы с красной шляпкой и белыми точками абсолютно безопасны, не переживай» — это потому что разработчики моделек не хотят денег терять