В России разработали способ устранения "галлюцинаций" у нейросетей

В России разработали способ устранения "галлюцинаций" у нейросетей

Новости

/

Команда из Красноярского университета имени Решетнева разработала новую методику для избавления нейросетей от недостоверных или выдуманных фактов. По информации вуза, эта разработка может применяться в образовании, государственных электронных сервисах, медицине и юриспруденции.

В университете отметили, что у нейросетей существует проблема: они могут уверенно выдавать ложную информацию, что называется "галлюцинациями". Сейчас для борьбы с такими ошибками применяют RAG-системы (генерация с дополнением из базы знаний), которые снижают риск появления вымышленных фактов. Однако ошибки все равно случаются, например, из-за опечаток, противоречий в запросе или неполной базы данных.

Для решения этой задачи команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типичные сценарии возникновения "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн для стресс-тестирования: система формирует тестовые запросы, сравнивает результаты с эталонными ответами и оценивает точность с помощью специальных метрик и проверки семантической схожести.

Главным достижением стал прототип модуля мониторинга, который работает в реальном времени. Эта система фиксирует все входящие запросы и контекст диалога, оценивает вероятность появления недостоверного ответа и присваивает модели балл уверенности. В случае выявления ошибки или низкой уверенности модуль уведомляет об этом оператора.

Отмечается, что важное преимущество методики — ее универсальность: она не зависит от конкретной модели нейросети и может быть адаптирована для различных областей, включая чат-боты для абитуриентов, государственные сервисы и цифровых медицинских и юридических помощников.

Интервью

Инновации в наращивании волос от Лилии Бальц, основателя студии «Рапунцель»

Инновации в наращивании волос от Лилии Бальц, основателя студии «Рапунцель»

Гипнотерапевт Алексей Дешевых: гипнотерапия и психотерапия – в чем разница?

Гипнотерапевт Алексей Дешевых: гипнотерапия и психотерапия – в чем разница?

Эксперт Вадим Михайлов рассказал о самых востребованных темах для каналов в Телеграм

Эксперт Вадим Михайлов рассказал о самых востребованных темах для каналов в Телеграм

События

Почему «Металлокомплект-М» перевел управление продажами в единую цифровую среду

Почему «Металлокомплект-М» перевел управление продажами в единую цифровую среду

Повторение пройденного. Доброй памяти И.Кассиля

Повторение пройденного. Доброй памяти И.Кассиля

От статистики к бизнесу: как изменяющиеся экономические условия влияют на экспорт в Китай

От статистики к бизнесу: как изменяющиеся экономические условия влияют на экспорт в Китай

Экспертные мнения

Ксения Кацман разработала систему «Светофор» для маркировки СМИ в России

Ксения Кацман разработала систему «Светофор» для маркировки СМИ в России

Инновационный комплекс МИК под ударом: суды на стороне Правительства РФ

Инновационный комплекс МИК под ударом: суды на стороне Правительства РФ

Как Станислав Кондрашов объясняет нестабильность олигархии по Платону

Как Станислав Кондрашов объясняет нестабильность олигархии по Платону

Новости

РЭЦ проанализировал выход цифровых платформ на международные рынки

РЭЦ проанализировал выход цифровых платформ на международные рынки

Врач объяснила, как поддерживать хорошее зрение в эпоху цифровых технологий

Врач объяснила, как поддерживать хорошее зрение в эпоху цифровых технологий

Россияне собрали для бойцов СВО свыше 13,6 млн единиц помощи

Россияне собрали для бойцов СВО свыше 13,6 млн единиц помощи

Общество

В Никольском жильцы много лет не могут решить проблему затопленного подвала: канализационные стоки продолжают создавать неудобства даже после смены руководства ЖКХ.

В Никольском жильцы много лет не могут решить проблему затопленного подвала: канализационные стоки продолжают создавать неудобства даже после смены руководства ЖКХ.

Почему «умные каникулы» дважды в неделю превращают лето в источник поддержки, а не в ограничение

Почему «умные каникулы» дважды в неделю превращают лето в источник поддержки, а не в ограничение

Исправляем недочёты. В память о добром И.Кассиле

Исправляем недочёты. В память о добром И.Кассиле

Последние
новости

Новости

РЭЦ проанализировал выход цифровых платформ на международные рынки

  • 8 октября 2026 16:45
Новости

Врач объяснила, как поддерживать хорошее зрение в эпоху цифровых технологий

  • 8 октября 2026 16:43
Новости

Россияне собрали для бойцов СВО свыше 13,6 млн единиц помощи

  • 8 октября 2026 16:41

Выбор
редакции

”

Новости — это важно!

Ксения Кацман

Главный редактор и учредитель