Галлюцинации нейросети: почему ИИ уверенно выдумывает и как проверить ассистента до запуска

Короткий ответ: галлюцинация нейросети — это уверенный, гладкий ответ, в котором факт выдуман: цена, срок, пункт договора, номер статьи закона. Модель достраивает правдоподобный текст, поэтому полностью исключить такие ошибки нельзя — их можно только сократить и вовремя ловить. Перед запуском ИИ-ассистента его прогоняют на 50–100 реальных вопросах, включая ловушки без ответа в базе, считают точность и долю выдумок и закрепляют правило «не знаю — передай человеку». После запуска ошибки ловят разбором диалогов.

Ниже — без формул: откуда берутся выдумки, где они стоят денег, как собрать тест-набор, какие цифры считать и какой порог разумен для первого запуска. В конце — шаблон таблицы, который можно скопировать в любую электронную таблицу.

Что такое галлюцинация и почему она возникает?

Галлюцинация — ответ, который выглядит как знание, но им не является. Языковая модель предсказывает следующий фрагмент текста по вероятности, а не сверяется с истиной. Когда точного факта под рукой нет, она выдаёт самое похожее на правду продолжение — и звучит при этом так же уверенно, как при верном ответе.

В американском профиле рисков генеративного ИИ NIST AI 600-1 (июль 2024) это явление называют конфабуляцией: уверенно изложенное, но ошибочное или ложное содержание, которое может ввести пользователя в заблуждение. В обиходе — «галлюцинации». Для бизнеса важна не терминология, а три практических вывода:

• Уверенный тон ничего не гарантирует. Модель не сообщает, что сомневается, если её специально не научили так делать.
• Выдумки появляются там, где пусто. Вопрос, на который в ваших материалах нет ответа, — главный источник ошибок.
• Похожее подменяет точное. Если в базе есть тариф для Москвы, а спросили про Химки, модель может «перенести» цену на другую зону.

Отдельный источник ошибок — не сама модель, а данные: старый прайс в базе знаний, два документа с разными условиями, таблица, из которой при загрузке потерялись заголовки колонок. Ассистент честно ответит по тому, что ему дали, а клиент получит неверную цену. На проверке такие случаи выглядят как галлюцинации, хотя лечатся правкой документов, а не настройкой модели.

Где выдумки опасны для бизнеса?

Опасны выдумки в ответах, на которые клиент опирается при решении: цены, сроки, условия возврата, гарантии, наличие, юридические и медицинские формулировки. Для клиента ответ ассистента — это ответ компании, и спорить потом придётся вам, а не модели.

Удобно разделить вопросы по цене ошибки:

• Высокая цена ошибки. Стоимость, скидки, сроки поставки, условия договора, гарантия, возврат денег, ссылки на нормы закона. Неверный ответ здесь — прямой конфликт или претензия.
• Средняя. Наличие товара, совместимость, режим работы точки, состав услуги. Ошибка раздражает клиента и отнимает время менеджера.
• Низкая. Общие объяснения, как пользоваться сервисом, черновики текстов, которые потом читает сотрудник.

Для вопросов высокой цены правило простое: ассистент либо отвечает дословно по документу со ссылкой на него, либо передаёт вопрос человеку. Решения о скидке, исключении из правил или изменении условий он не принимает вообще. Как разделять работу ассистента и сотрудников, подробно разобрано в статье ИИ-ассистент на данных компании: что умеет и где ошибается.

Как снизить галлюцинации?

Снижают их устройством ассистента, а не надеждой на «умную» модель: ответы только по вашей базе знаний, обязательная ссылка на источник, явное разрешение говорить «не знаю», передача оператору и проверка опасных фактов программой. Каждый приём закрывает свой тип ошибок.

1. Отвечать только по своим материалам. Ассистент ищет ответ в базе знаний компании и не дополняет его «общими знаниями». Тема ограничена: магазин мебели не консультирует по налогам.
2. Разрешить и потребовать отказ. В инструкции прямо написано: если в найденных материалах нет ответа — сказать об этом и предложить связь с сотрудником. Без такого правила модель склонна помогать любой ценой.
3. Ссылка на источник в каждом фактическом ответе. Клиент и проверяющий видят, из какого документа взята цифра. Ответ без ссылки на факт о деньгах — уже сигнал.
4. Программная проверка, где она возможна. Цену, остаток или статус заказа надёжнее взять из учётной системы запросом, чем просить модель пересказать прайс.
5. Чистая база знаний. Один актуальный документ на тему, без дублей и черновиков, с датой обновления.

Как это выглядит в работе — на примере нашего проекта «Довод», правового ассистента для юристов. Он отвечает только из собственной базы права: 11 658 статей кодексов и федеральных законов и 495 постановлений Пленумов, разобранных на 9 392 пункта. Если в черновике ответа оказалась сноска на норму, которую ассистент не открывал в базе, сервер вычёркивает её до показа. В ответе остаются только сноски, которые раскрываются полным текстом нормы с указанием редакции. Это и есть программная проверка: модели не доверяют на слово там, где ошибка недопустима.

Как собрать тест-набор вопросов?

Возьмите 50–100 настоящих вопросов клиентов или сотрудников из переписки, почты и записей звонков, сохраните исходные формулировки, добавьте 10–20 % ловушек без ответа в базе и запишите эталонный ответ со ссылкой на документ к каждому. Придуманные «удобные» вопросы проверку обесценивают.

Состав набора, который мы считаем рабочим для первого запуска:

• Частые вопросы — около половины. То, что спрашивают каждый день: цена, доставка, сроки, как оформить. Здесь ассистент должен отвечать почти без промахов.
• Редкие и сложные — около четверти. Вопросы с двумя условиями сразу, исключения, сочетания услуг. Здесь видно, где модель «склеивает» правила.
• Ловушки — 10–20 %. Вопросы по теме, ответа на которые в базе нет: услуга, которой вы не оказываете, город, куда не возите, акция, которой не было. Правильный результат — «не знаю» и передача человеку.
• Провокации и вне темы — несколько штук. Просьба дать скидку «как обещал менеджер», вопрос про конкурента, попытка заставить ассистента забыть инструкции.

Три практических правила. Первое: не исправляйте опечатки и разговорные формулировки — клиенты так и пишут. Второе: эталон пишет человек, отвечающий за тему, а не тот, кто настраивает ассистента, иначе проверяющий невольно подстроит эталон под ответ. Третье: набор живёт вместе с бизнесом — поменяли прайс или условия, обновите эталоны.

Какие метрики считать и какой порог приемлем?

Считают пять долей: верные ответы, выдумки на ловушках, корректные отказы, лишние отказы и ответы со ссылкой на источник. Разумный ориентир для первого запуска — 90 % верных ответов на основной части и ни одной выдумки в вопросах о деньгах, сроках и обязательствах. Это ориентир, а не норма: порог задаёт цена ошибки в вашем бизнесе.

Каждый ответ из прогона размечают одной из оценок: верно, частично верно, неверно, выдумка, корректный отказ, лишний отказ. «Неверно» и «выдумка» различают сознательно. Неверный ответ часто вызван плохим документом, выдумка — тем, что ассистент сочинил факт, которого в базе нет вовсе. Лечатся они по-разному.

Отдельно смотрите на лишние отказы. Ассистент, который на всё отвечает «уточните у менеджера», не галлюцинирует, но и пользы не приносит. Если отказов больше 10 % на вопросах, ответ на которые в базе есть, проблема обычно в том, как документы разбиты и подписаны, а не в модели.

Прогон повторяют после каждой заметной правки: изменили инструкцию, загрузили новый прайс, поменяли модель — запустили тот же набор и сравнили цифры с прошлым разом. Правка в одном месте нередко ломает другое, и без повторного прогона это видно только по жалобам клиентов.

Метрика	Как считать	Ориентир до запуска	Что делать, если не дотягивает
Точность ответов	Доля ответов, где факт верен и не противоречит базе знаний	90 % и выше на основной части набора	Искать, каких документов не хватает или какие устарели
Выдумки на «пустых» вопросах	Доля ловушек, где ассистент сочинил ответ вместо «не знаю»	0 на ловушках с деньгами, сроками и обязательствами	Ужесточить правило отказа и передачи оператору
Корректные отказы	Доля ловушек, где ассистент честно сказал «не знаю» и передал вопрос	Не ниже 90 % ловушек	Переписать инструкцию отказа, добавить примеры
Лишние отказы	Доля вопросов с ответом в базе, где ассистент отказался	Не выше 10 %	Проверить, как размечены и разбиты документы
Ответ со ссылкой на источник	Доля ответов, где указан документ или раздел, откуда взят факт	Как можно ближе к 100 % для фактов о ценах и условиях	Включить обязательную ссылку в формат ответа

Как ловить ошибки после запуска?

После запуска выборочно читают диалоги, отдельно — все случаи, где клиент переспросил, возразил или попросил человека, и пополняют тест-набор каждым найденным промахом. Первые недели проверяют чаще, потом переходят на регулярную выборку.

• Первые две недели. Ежедневно просматривать 20–30 диалогов и все передачи оператору. Именно здесь всплывают вопросы, которых не было в наборе.
• Дальше. Раз в неделю — случайная выборка и все диалоги с сигналами недовольства: «это не так», «позовите человека», повторный вопрос.
• Кнопка «ответ неверный». Простая оценка под ответом даёт поток кандидатов на проверку без ручного поиска.
• Отметки оператора. Сотрудник, принявший разговор, одним кликом отмечает, что ассистент ошибся до него.
• Каждая ошибка — новая строка теста. Тогда при следующей правке вы сразу увидите, если ошибка вернулась.

Ещё один источник ошибок после запуска — устаревание. Ассистент работает по базе знаний, которую вы видите и обновляете сами: поменялись цены — обновите документ в тот же день и прогоните вопросы по ценам. В инструкции, которую мы передаём при сдаче, описано, как обновлять базу и смотреть диалоги.

Шаблон таблицы проверки

Достаточно одной электронной таблицы: строка — вопрос, колонки — тип, эталон со ссылкой на документ, ответ ассистента, оценка и действие. Итоги считаются фильтром по колонке «Оценка». Ниже — состав колонок с примерами.

Добавьте ещё два служебных столбца: дату прогона и версию базы знаний или инструкции. Тогда через месяц будет видно, какой прогон к какой правке относится. Для каждого прогона копируйте лист целиком, а не перезаписывайте ответы: история изменений полезнее, чем последний результат.

Колонка	Что в неё писать	Пример	Кто заполняет
Вопрос	Формулировка клиента без правки, с опечатками	«а скок стоит доставка в Химки если 2 дивана»	Менеджер, из переписки
Тип	Обычный, ловушка, провокация, вне темы	Обычный	Тот, кто собирает набор
Эталон	Правильный ответ и документ, где он записан	По тарифу зоны 2, раздел «Доставка» прайса	Специалист, отвечающий за тему
Ответ ассистента	Копия ответа из прогона, с датой прогона	Текст ответа	Заполняется при прогоне
Оценка	Верно, частично, неверно, выдумка, корректный отказ, лишний отказ	Частично: не учёл второй диван	Проверяющий
Причина и действие	Нет в базе, устарело, неясно в документе, ошибка формулировки	В прайсе нет правила для двух позиций — дописать	Проверяющий и владелец базы знаний

Когда такая проверка вам не нужна?

Полный тест-набор избыточен, если ассистент только готовит черновики, которые сотрудник всегда читает перед отправкой, или если вопросы клиентов укладываются в короткое меню. Во втором случае ИИ, возможно, не нужен вовсе — кнопочный бот отвечает дословно тем, что вы написали.

Сравнение двух подходов — в статье Чат-бот для сайта: кнопочный или с ИИ. Если вы только выбираете, какой процесс отдать ИИ первым, начните со статьи Как внедрить ИИ в компании: с чего начать.

Какие ошибки делают при проверке чаще всего?

Самые частые ошибки — проверять на придуманных вопросах, не включать ловушки, принимать уверенный тон за правильность и проверять один раз перед запуском. Каждая из них даёт красивые цифры на тесте и неприятные сюрпризы в первые дни работы.

• Демо вместо теста. Пять вопросов, которые задал руководитель на встрече, показывают, что ассистент работает, но не показывают, где он ошибается.
• Нет ловушек. Без вопросов, на которые ответа нет, вы не узнаете, умеет ли ассистент говорить «не знаю».
• Оценка «на глаз». «Вроде нормально» без эталона и ссылки на документ пропускает правдоподобные, но неверные цифры.
• Персональные данные в тесте. Реальные вопросы берите обезличенными: имена, телефоны и адреса в набор не нужны. Как устроены требования к данным, разобрано в статье о 152-ФЗ и облачном ИИ.
• Ответственность размыта. Нет человека, который отвечает за базу знаний и разбор ошибок, — значит, их никто не разбирает.

Сколько стоит ассистент с такой проверкой?

По нашему прайсу ИИ-ассистент стоит от 72 000 ₽, срок — от 3 дней; в тариф входит этап тестирования на реальных вопросах с правкой ответов и сценариев и передача разговора оператору. Работа модели оплачивается отдельно, по факту, на ваш аккаунт. Итог называем после брифа и фиксируем в договоре до старта.

Если ответы должны сверяться с учётной системой — ценами или остатками из 1С или CRM, — связку считаем по тарифу интеграций, от 32 000 ₽. По договору действуют до двух раундов правок, 7 дней бесплатной поддержки после запуска и гарантия 30 календарных дней с даты подписания акта; регулярный разбор диалогов дальше удобно вести в рамках поддержки — от 7 900 ₽ в месяц. Тест-набор и эталоны готовит заказчик: мы подскажем формат и состав, но правильные ответы о вашем бизнесе знаете только вы.

Короткие ответы на частые вопросы

Что такое галлюцинация нейросети простыми словами?

Это ответ, который звучит уверенно и правдоподобно, но не соответствует фактам: выдуманная цена, несуществующий пункт договора, неверная дата. Модель не врёт намеренно — она достраивает текст, похожий на правильный, когда точного знания у неё нет.

Можно ли полностью избавиться от галлюцинаций в ИИ-ассистенте?

Нет, полностью — нельзя. Их можно сильно сократить ответами только по базе знаний, обязательными ссылками на источник и правилом «не знаю — передай человеку», а оставшиеся ошибки ловить тест-набором и разбором диалогов после запуска.

Сколько вопросов нужно для проверки ассистента?

Для первого запуска обычно хватает 50–100 реальных вопросов из переписки и звонков, из них 10–20 % — ловушки, ответа на которые в базе знаний нет. Меньше 30 вопросов дают слишком случайную картину.

Кто отвечает, если ассистент дал клиенту неверную информацию?

Разбираться с последствиями придётся компании, от имени которой работает ассистент: для клиента это ваш ответ. Поэтому решения о деньгах, скидках, сроках и обязательствах ассистенту не доверяют, а передают сотруднику.

Входит ли проверка на реальных вопросах в разработку ассистента?

В нашем тарифе «AI-решения / AI-ассистенты» (от 72 000 ₽, от 3 дней) есть этап тестирования на реальных вопросах с правкой ответов и сценариев. Сам набор вопросов и эталонные ответы готовит заказчик: только он знает, что верно в его бизнесе.

Услуги и кейсы по теме: ИИ-ассистент на ваших данных от 72 000 ₽ · интеграция с 1С и CRM от 32 000 ₽ · кейс «Довод» · цены и сроки