В России разработали способ устранения "галлюцинаций" у нейросетей

/ 4 июня 2026 23:10

Команда из Красноярского университета имени Решетнева разработала новую методику для избавления нейросетей от недостоверных или выдуманных фактов. По информации вуза, эта разработка может применяться в образовании, государственных электронных сервисах, медицине и юриспруденции.

В университете отметили, что у нейросетей существует проблема: они могут уверенно выдавать ложную информацию, что называется "галлюцинациями". Сейчас для борьбы с такими ошибками применяют RAG-системы (генерация с дополнением из базы знаний), которые снижают риск появления вымышленных фактов. Однако ошибки все равно случаются, например, из-за опечаток, противоречий в запросе или неполной базы данных.

Для решения этой задачи команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типичные сценарии возникновения "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн для стресс-тестирования: система формирует тестовые запросы, сравнивает результаты с эталонными ответами и оценивает точность с помощью специальных метрик и проверки семантической схожести.

Главным достижением стал прототип модуля мониторинга, который работает в реальном времени. Эта система фиксирует все входящие запросы и контекст диалога, оценивает вероятность появления недостоверного ответа и присваивает модели балл уверенности. В случае выявления ошибки или низкой уверенности модуль уведомляет об этом оператора.

Отмечается, что важное преимущество методики — ее универсальность: она не зависит от конкретной модели нейросети и может быть адаптирована для различных областей, включая чат-боты для абитуриентов, государственные сервисы и цифровых медицинских и юридических помощников.

Интервью