База знаний

Почему корпоративному ИИ без галлюцинаций всё равно нельзя доверять

Почему отсутствие галлюцинаций ещё не означает, что корпоративному ИИ можно доверять.

Когда компании внедряют искусственный интеллект для работы с внутренними документами, один из главных страхов — галлюцинации. Нейросеть может придумать несуществующее условие договора, сослаться на неправильный регламент или уверенно сообщить сотруднику информацию, которой вообще нет в корпоративной базе знаний.

Для решения этой проблемы используют RAG — технологию, при которой модель сначала ищет информацию в документах компании, а затем формирует ответ на основе найденного.

Выглядит разумно. Вместо того чтобы полагаться на знания, полученные во время обучения, нейросеть обращается к актуальным инструкциям, договорам и регламентам. Можно даже потребовать, чтобы каждое утверждение подтверждалось конкретным источником.

Но у такого подхода есть менее очевидная проблема.

Нейросеть может не выдумать ни одного факта и всё равно дать неправильный ответ. Просто потому, что не сообщила чего-то важного.

Правильный ответ, в котором не хватает половины условий

Представим интернет-магазин, который внедрил ИИ-консультанта для покупателей.

Клиент спрашивает, можно ли вернуть товар после покупки. Ассистент обращается к корпоративной базе знаний и отвечает: «Да, товар можно вернуть в течение 14 дней».

Информация правильная. В инструкции действительно указан срок 14 дней. Ссылка на документ тоже корректная.

Но в той же инструкции есть дополнительные условия возврата, которые зависят от категории товара и обстоятельств покупки. Ассистент их не упомянул.

Проверяющая система анализирует ответ и подтверждает, что он соответствует документу. Ведь утверждение о 14 днях действительно содержится в источнике.

В результате покупатель получает неполную информацию, хотя нейросеть ничего не придумала.

Это иллюстративный пример, но именно такой класс ошибок обнаружился в опубликованном эксперименте по проверке корпоративного RAG.

Эксперимент: 43 вопроса, пять документов и почти идеальные результаты

В конце октября 2026 года разработчик опубликовал на «Reddit исследование качества RAG». Вместе с обсуждением доступен репозиторий с кодом, тестовыми вопросами и результатами.

Для эксперимента использовали пять документов из финансовой сферы, включая материалы по PCI DSS и требования финансовых регуляторов. Документы разбили на 1507 фрагментов, по которым система могла выполнять поиск.

Затем подготовили 43 контрольных вопроса. Для каждого заранее определили правильный ответ, страницы с необходимой информацией и перечень фактов, которые обязательно должны присутствовать.

Работала система следующим образом: получала вопрос, искала подходящие фрагменты, выбирала пять наиболее релевантных и передавала их языковой модели. Та формировала ответ, после чего отдельный проверяющий компонент оценивал его качество.

Результаты получились очень хорошими.

Система находила хотя бы один релевантный фрагмент в первой пятёрке результатов для всех 43 вопросов. Показатель полноты поиска Recall@5 составил 0,94. Оценка правильности ответов — 0,97.

А показатель Faithfulness достиг максимального значения — 1,00.

Здесь нужно объяснить, что именно он означает.

Faithfulness оценивает, насколько утверждения в ответе подтверждаются предоставленными модели документами. Если модель сообщает факт, которого нет в найденных источниках, оценка должна снижаться.

Иными словами, проверяется, не добавила ли нейросеть что-нибудь от себя.

В эксперименте проверяющий компонент не обнаружил таких неподтверждённых утверждений. Казалось бы, отличный результат: модель отвечает по документам и не фантазирует.

Однако при разборе отдельных вопросов выяснилось, что некоторые ответы оказались неполными.

Первая ошибка: нужный документ вообще не нашли

Один из показательных случаев — вопрос Q40.

Для правильного ответа требовалось сопоставить требования нескольких нормативных документов. В контрольном наборе были заранее указаны три страницы, содержащие необходимую информацию.

Но поисковая система обнаружила только одну из них.

Языковая модель получила неполный контекст и сформировала ответ, в котором присутствовали лишь два из трёх обязательных фактов.

Важно, что сама модель могла вполне добросовестно использовать предоставленную информацию. Она не обязательно должна была догадаться, что где-то существует ещё одна страница с дополнительным требованием.

Проблема возникла раньше — на этапе поиска.

Это фундаментальная особенность RAG: языковая модель отвечает не по всей корпоративной базе знаний, а по тем фрагментам, которые поисковый механизм смог для неё подобрать.

Если нужный документ не попал в результаты поиска, модель может вообще не узнать о его существовании.

Причём увеличение количества найденных фрагментов не всегда решает проблему. Можно передать модели десять или двадцать страниц вместо пяти, но если поисковый алгоритм неправильно определяет релевантность, необходимая информация всё равно останется за пределами контекста.

А если добавить слишком много документов, появится другая проблема: среди большого объёма текста модели будет сложнее выделить действительно важные условия.

Поэтому качество поиска необходимо проверять отдельно от качества ответа.

Вторая ошибка: документы нашли, но модель не использовала всё необходимое

В другом случае, Q22, ситуация оказалась интереснее.

Поисковая система нашла необходимые страницы. Информация, нужная для правильного ответа, присутствовала в переданном контексте.

Но языковая модель всё равно пропустила часть существенных сведений.

Здесь уже нельзя объяснить проблему отсутствием источников. Модель располагала необходимой информацией, но не включила её в итоговый ответ.

Это может происходить по разным причинам. Модель способна посчитать часть условий второстепенными, слишком сильно сократить ответ или неправильно определить, какие сведения необходимы для решения задачи.

Особенно неприятно, что результат может выглядеть совершенно убедительно. Текст связный, факты правильные, ссылки на документы присутствуют.

Проверка на отсутствие выдуманных утверждений снова проходит успешно.

Именно поэтому в эксперименте показатель Faithfulness оказался равен единице, хотя правильность ответов была ниже.

Нужно учитывать ограничения самого исследования. Всего проверяли 43 вопроса по пяти относительно хорошо структурированным документам. Кроме того, оценивание выполнялось с помощью языковой модели, а не независимой экспертной комиссии. Поэтому полученные показатели нельзя переносить на любые корпоративные базы знаний.

Но два разобранных случая хорошо демонстрируют принципиально разные причины неполных ответов.

В первом случае система не нашла необходимые сведения. Во втором — нашла, но не использовала.

Для исправления этих ошибок потребуются разные решения.

Почему проверка другой нейросетью не всегда помогает

Логичный следующий шаг — добавить второго ИИ-агента, который будет проверять ответы первого.

Такой подход действительно может улучшить качество. Но многое зависит от того, что именно проверяет второй агент.

Если ему передать вопрос пользователя и готовый ответ, он сможет оценить связность текста, отсутствие явных противоречий и соответствие формату. Однако для полноценной проверки фактов ему необходим доступ к исходным документам.

И даже этого недостаточно для гарантии полноты.

Предположим, первый агент получил только две из трёх необходимых страниц. Если проверяющий агент работает с теми же двумя страницами, он может подтвердить правильность ответа, не обнаружив отсутствующее требование.

Поэтому проверка должна включать не только анализ готового текста, но и оценку того, насколько полно система нашла необходимую информацию.

А для этого нужны контрольные вопросы с заранее известными правильными ответами.

Без такого набора невозможно достоверно определить, действительно ли система стала лучше после добавления второго агента, замены модели или изменения алгоритма поиска.

В корпоративных документах неполный ответ иногда опаснее выдуманного

Когда нейросеть придумывает откровенно несуществующий факт, ошибку иногда легко заметить. Например, сотрудник видит ссылку на регламент, которого никогда не было.

С неполными ответами ситуация сложнее.

Представим внутреннего ассистента, который помогает согласовывать расходы. Сотрудник спрашивает, может ли самостоятельно утвердить закупку на определённую сумму. Модель находит документ и правильно сообщает допустимый лимит.

Но пропускает исключение: для некоторых категорий закупок требуется дополнительное согласование независимо от суммы.

В ответе нет ни одного выдуманного факта. Однако сотрудник может принять неправильное решение.

Похожая ситуация возникает при работе с договорами. Ассистент правильно называет срок оплаты, но забывает условие, при котором этот срок начинает исчисляться. Или сообщает размер штрафа, не упоминая установленное договором ограничение.

В бухгалтерии модель может правильно найти правило отражения операции, но пропустить исключение для конкретного вида документа.

Все эти примеры иллюстративные. Они не являются зафиксированными ошибками из исследования. Но показывают, почему для корпоративного ИИ недостаточно требования «не галлюцинировать».

Правильный ответ должен не только состоять из достоверных утверждений, но и содержать все сведения, существенные для решения вопроса.

Как проверить корпоративного ИИ до запуска

Для проверки RAG необязательно создавать исследовательскую платформу с десятками метрик. Начать можно с относительно небольшой контрольной выборки.

Например, компания внедряет ассистента по внутренним инструкциям. Сотрудники собирают 50–100 реальных вопросов, которые регулярно возникают в работе.

Для каждого вопроса необходимо определить правильный ответ, документы, в которых содержится нужная информация, и перечень обязательных условий.

Последнее особенно важно.

Если вопрос касается согласования расходов, недостаточно записать в эталонном ответе только допустимую сумму. Нужно указать все исключения, ограничения и дополнительные согласования, без которых ответ нельзя считать полноценным.

После этого систему проверяют в два этапа.

Сначала оценивают поиск. Нашла ли она необходимые документы? Не использовала ли устаревшую редакцию? Присутствуют ли в результатах все фрагменты, без которых невозможно ответить правильно?

Затем оценивают сформированный ответ. Использовала ли модель все обязательные сведения? Не добавила ли неподтверждённых утверждений? Не исказила ли смысл условий при сокращении текста?

Результаты удобно разделить на четыре категории: правильный и полный ответ, правильный по приведённым фактам, но неполный ответ, неправильный ответ и обоснованный отказ при отсутствии необходимых данных.

При этом отказ не всегда означает проблему. Если в корпоративных документах действительно нет нужной информации, корректнее сообщить об этом, чем придумывать ответ.

Но если необходимый документ существует, а система его не нашла, это уже ошибка поиска. Её нельзя считать успешным отказом.

Такое разделение позволяет понять, что именно необходимо улучшать: подготовку документов, поисковый механизм, инструкции модели или процедуру проверки.

Почему красивые проценты ещё не доказывают готовность к работе

В эксперименте из Reddit показатель Faithfulness составил 1,00, а правильность ответов — 0,97.

На первый взгляд это почти идеальные результаты.

Но представим, что корпоративный ассистент отвечает на тысячу вопросов в месяц. Даже если условно перенести показатель 97% на реальные обращения, оставшиеся 3% могут означать десятки проблемных ответов.

И далеко не все ошибки одинаковы.

Неполный ответ о расположении документа в корпоративном архиве обычно не создаёт серьёзных последствий. А пропущенное условие договора, требование регулятора или ограничение финансовой операции может оказаться существенно дороже.

Поэтому оценивать корпоративный ИИ только средним процентом правильных ответов недостаточно.

Нужно учитывать характер ошибок, вероятность их обнаружения сотрудником и последствия неправильного решения.

Для одних процессов допустима автоматическая выдача ответа без дополнительной проверки. Для других потребуется подтверждение человеком. А в некоторых случаях языковой модели вообще не следует самостоятельно принимать решение: она может помогать искать и объяснять информацию, но окончательную проверку должны выполнять строгие программные правила или ответственный сотрудник.

Это не недостаток технологии, а нормальное проектирование системы с учётом рисков.

С чего начинать внедрение

При внедрении корпоративного ИИ часто начинают с выбора модели, векторной базы данных и способа загрузки документов.

Но главный вопрос должен звучать иначе: как мы убедимся, что система отвечает правильно и ничего существенного не пропускает?

Если компания не может заранее определить правильные ответы хотя бы на несколько десятков типовых вопросов, ей будет сложно оценить качество готового ассистента.

Поэтому разумный пилот начинается с изучения существующих документов, проверки их актуальности и формирования контрольной выборки. Затем на ограниченном наборе задач можно сравнить разные модели и настройки поиска, измерить качество ответов и определить, какие ситуации требуют участия человека.

В «Бюро цифровых решений Андреева» мы помогаем компаниям оценивать возможности внедрения ИИ в реальные бизнес-процессы. Начать можно с аудита корпоративных данных и небольшого пилота: выбрать конкретную задачу, определить критерии правильности и проверить систему до передачи ей ответственности за рабочие решения.

Искусственный интеллект уже способен быстро находить информацию в больших массивах документов и формировать понятные ответы. Но наличие ссылки на источник ещё не гарантирует, что ответ содержит всё необходимое.

В рассмотренном эксперименте модель не добавляла неподтверждённых утверждений, но в отдельных случаях пропускала важные требования. Иногда потому, что поиск не нашёл нужные страницы. Иногда потому, что модель не использовала всю предоставленную информацию.

Отсутствие галлюцинаций — ещё не доказательство правильности. Корпоративному ИИ нужно уметь не только не выдумывать лишнего, но и не забывать важного.

Александр Андреев
Автор статьи

Александр Андреев

Консультант по внедрению ИИ и автоматизации бизнес-процессов. Более 16 лет работаю с ИТ-проектами: нахожу ручную рутину, запускаю пилоты и измеряю результат.