Галлюцинации нейросети: что это такое и как с ними бороться

Галлюцинацией нейросети называют уверенный, гладкий ответ, в котором факт выдуман. Модель называет закон, которого нет, цитату, которую никто не говорил, или ссылку, ведущую в никуда, и делает это тем же спокойным тоном, каким говорит правду. Бороться с этим можно. Галлюцинации предсказуемы, появляются в одних и тех же местах, и проверка ответа занимает три-пять минут, если знать, куда смотреть.

Что такое галлюцинация нейросети и почему она возникает

Чат-нейросеть не хранит факты в виде таблицы, откуда можно достать точный ответ. Она устроена иначе. Её обучили на огромном количестве текстов, и она научилась предсказывать, какое слово вероятнее всего идёт следующим. Когда вы спрашиваете, какая статья регулирует возврат товара, модель не ищет в кодексе. Она собирает ответ, который звучит как ответ на такой вопрос, с правильной интонацией, привычной структурой, похожими цифрами.

Чаще всего этого достаточно, потому что распространённые вещи встречаются в текстах тысячи раз и предсказание совпадает с правдой. Но там, где данных мало, где они противоречивы или где нужна точность до цифры, модель всё равно «дописывает» ответ. Она не умеет остановиться и сказать «не знаю», если её об этом не попросить прямо. А тон у выдумки такой же уверенный, как у правды, потому что уверенность здесь просто стиль текста, а не признак знания.

Представьте очень начитанного стажёра. Много читал, быстро пишет, но не помнит, где именно прочитал, и очень хочет помочь. Такой стажёр не скажет «дайте мне день, я не уверен». Он напишет так, как ему кажется правильным. Это не злой умысел, это устройство.

Где нейросеть выдумывает чаще всего. Семь красных флагов

Есть типы информации, при виде которых в ответе нужно автоматически включать проверку. Список короткий.

• Точные цифры. «Рынок вырос на 23,4%», «в среднем 47 минут». Чем точнее число, тем подозрительнее, если вы не давали своих данных. Округлённое «примерно четверть» модель могла честно обобщить, а «23,4%» почти всегда сочинённая правдоподобность.
• Даты. Годы событий, сроки вступления в силу. Модель путает похожие даты и уверенно называет неверную.
• Ссылки и названия источников. Адрес сайта может выглядеть абсолютно правдоподобно и никуда не вести. Название книги или отчёта тоже.
• Законы и номера статей. Любимое место ошибок. Даже когда закон существует, номер статьи и её содержание часто перепутаны.
• Цитаты. «Как говорил известный писатель...», а он не говорил. Красивые фразы приписываются известным людям и в интернете, и в ответах модели.
• «Исследования показали». Без названия исследования и без авторов это просто оборот речи, который придаёт тексту вес.
• Сегодняшний день. Курс валют, цены, новости, «работает ли сервис сейчас». Модель обучена на данных до определённой даты, и даже с доступом к поиску может смешать старое с новым.

Если в ответе есть хотя бы один пункт из списка, это не значит, что там ошибка. Это значит, что там нужно посмотреть внимательно, прежде чем отправлять текст кому-то.

Как бороться с галлюцинациями. Четыре способа проверки

Проверка не должна занимать час. На одну задачу обычно хватает одного-двух приёмов из четырёх.

1. Спросить источник и открыть его. Попросите назвать источник. «Откуда это? Дай название документа и место, где это написано». Дальше самое главное. Откройте источник сами и найдите там нужную фразу. Если модель назвала статью закона, откройте текст закона и прочитайте статью. Частая ловушка в том, что на просьбу дать источник модель придумывает источник. Поэтому «спросить» только половина приёма, вторая половина «открыть».
2. Переспросить в другом инструменте. Задайте тот же вопрос второй нейросети, например в GigaChat после Алисы AI или в DeepSeek. Если ответы расходятся, вы точно нашли место, где нужен человек. Если совпадают, доверие выше, но две модели вполне могут повторить одну и ту же распространённую ошибку из интернета. Совпадение двух нейросетей остаётся подсказкой, а не доказательством.
3. Попросить «где ты не уверена». Самый недооценённый приём. Спросите прямо. «Перечисли утверждения в твоём ответе, в которых ты не уверена, и объясни почему». Модель, которую попросили сомневаться, обычно честно выделяет слабые места, например «точный номер статьи может отличаться» или «цифра приблизительная».
4. Проверить одно число руками. Если в ответе есть расчёт или сводка по вашей таблице, возьмите одну цифру и пересчитайте её на калькуляторе. Одно совпавшее число не гарантирует, что верны остальные, но одно несовпавшее сразу говорит, что сводке доверять нельзя и её нужно переделать.

Промпт против выдумок до и после

Ограничения лучше закладывать заранее, а не ловить ошибки потом. Сравните два запроса на одну задачу.

До. «Напиши ответ покупателю про возврат обуви, которая не подошла по размеру».

В ответе появляется «согласно статье такой-то, вы обязаны вернуть деньги в течение трёх дней». Номер статьи и срок, два красных флага в одной фразе.

После. Тот же запрос плюс четыре строки в конце.

• Не придумывай факты, цифры, даты, законы, цитаты, ссылки.
• Если не знаешь точно, напиши «нужно проверить» и не заполняй пробел догадкой.
• Рядом с каждым проверяемым фактом укажи, откуда он, или пометь словом «предположение».
• В конце ответа отдельным списком перечисли места, где ты не уверена.

Теперь вместо выдуманного номера статьи в ответе стоит «срок возврата нужно проверить по закону о защите прав потребителей», а внизу список из двух сомнительных мест. Гадать больше не нужно, модель сама показала, куда смотреть. Эти четыре строки подходят к любому промпту, где нужны факты, будь то справка, ответ клиенту с условиями или текст с цифрами. В уроке 6.1 курса «НейроСтарт» на /kurs они выдаются готовой карточкой вместе с промптом-проверяльщиком для уже написанного текста.

Два случая из практики

Владелица магазина детской обуви просит нейросеть написать ответ покупателю про возврат. В тексте появляется «согласно статье такой-то, срок три дня». Она открывает закон о защите прав потребителей, находит нужную статью и видит, что срок другой. Пять минут, и в письмо клиенту не ушла ошибка, за которую потом пришлось бы извиняться.

Мастер по ремонту просит список «пять самых частых поломок стиральных машин по данным исследований». Список выглядит убедительно. Он спрашивает, какие именно исследования, и получает названия, которые нигде не находятся. Правильный вывод простой. Список оставить как «по опыту мастеров», а слово «исследования» вычеркнуть.

В обоих случаях нейросеть не стала бесполезной. Она дала хороший черновик, а человек убрал из него единственную опасную деталь.

Чего не делать

• Верить уверенному тону. Спокойная интонация одинакова там, где всё верно, и там, где всё выдумано.
• Проверять нейросетью нейросеть и успокаиваться. Хотя бы один факт откройте в первоисточнике.
• Считать «спросил источник» проверкой. Без «открыл источник» это вера, а не проверка.
• Найти ошибку и решить, что инструмент бесполезен. Инструмент остаётся полезным, просто вы теперь знаете, где у него слабые места.

Главное правило одно. Нейросеть даёт черновик, ответственность ваша. Черновик может быть отличным. Но подпись под документом ставите вы.

Частые вопросы

Галлюцинирует ли нейросеть с доступом в интернет?

Да, реже, но галлюцинирует. Доступ к поиску помогает с сегодняшними фактами, но модель может смешать старое с новым или пересказать найденную страницу с ошибкой. Красные флаги и проверка работают так же.

Можно ли полностью избавиться от галлюцинаций?

Нет, это свойство устройства модели, а не ошибка, которую починят обновлением. Ограничения в промпте заметно снижают число выдумок, а проверка по красным флагам ловит остальное. Убрать риск до нуля нельзя, но свести его к трём-пяти минутам проверки можно.

Какие вопросы задавать, чтобы увидеть галлюцинацию своими глазами?

Не «столица России», на таком модель не ошибается. Спросите номер статьи закона, который касается вашей работы, автора цитаты, которая вам нравится, и одну точную цифру статистики в вашей сфере. Потом проверьте все три. Такое задание стоит в уроке про галлюцинации курса; познакомиться с курсом можно с бесплатного урока 0 на /kurs/urok-0.