В России создали методику избавления нейросети от «галлюцинаций»

Краткий пересказ от РИА ИИ

• Команда из Университета Решетнева создала методику избавления нейросети от недостоверных или выдуманных фактов.
• Методика включает классификатор типовых сценариев «галлюцинаций» нейросетей и автоматизированный пайплайн стресс-тестирования.
• Главным достижением стал прототип универсального модуля мониторинга, который работает в режиме реального времени и оценивает риск выдачи недостоверного ответа.

КРАСНОЯРСК, 31 мая. Команда из Университета Решетнева создала методику избавления нейросети от недостоверных или выдуманных фактов, разработка может применяться в образовании, на «Госуслугах», в медицине и юриспруденции, сообщили в вузе.
Проблема у нейросетей в том, что они могут уверенно врать, отмечают в университете. Это называют «галлюцинациями». Сейчас для устранения таких ошибок используются RAG-системы (Retrieval-Augmented Generation, генерация с дополненной выборкой — ред.), где нейросеть сначала ищет релевантную информацию в базе знаний, а затем формирует ответ. В целом такой подход снижает риск выдумывания фактов, но ошибки могут случаться из-за опечаток, противоречий в запросе или неполноты базы данных, отметили в вузе.

«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии «галлюцинаций» и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», — рассказали в вузе.

Уточняется, что главным достижением стал прототип модуля мониторинга, который работает в режиме реального времени. Он логирует все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности. В случае ошибки или низкой уверенности модуль сигнализирует об этом оператору.
Отмечается, что важным преимуществом методики является ее универсальность. Она не привязана к конкретной нейросети и может быть масштабирована для использования в самых разных сферах — от чат-ботов для абитуриентов до сервисов на «Госуслугах» и медицинских и юридических помощников.