Исследователи из Университета Решетнева представили инновационную методику, которая позволяет снизить вероятность появления так называемых "галлюцинаций" у нейросетей.
Как сообщили в пресс-службе вуза, разработка уже прошла первичные испытания и направлена на повышение достоверности ответов искусственного интеллекта.
Проблема "уверенной лжи" остается одной из самых острых при внедрении нейросетей в ответственные сферы, где каждая ошибка может иметь серьезные последствия.
Стресс-тест для алгоритмов
Стандартные методы борьбы с недостоверными ответами сегодня предполагают использование RAG-систем, где нейросеть обращается к внешней базе знаний.
Однако, как пояснили в университете, опечатки, неполнота данных или внутренние противоречия в запросе все равно приводят к сбоям. Команда под руководством доцента Анастасии Поляковой пошла дальше: специалисты проанализировали типичные сценарии появления ложных фактов и создали их полный классификатор.
"Чтобы решить эту задачу, команда проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность",
— рассказали разработчики.
Универсальный модуль для реального времени
Ключевым элементом методики стал прототип мониторингового модуля, работающего в реальном времени. Он непрерывно логирует все входящие запросы и контекст беседы, вычисляя риск выдачи ошибочного или вымышленного ответа. Если степень уверенности модели падает ниже установленного порога, модуль немедленно сигнализирует оператору о потенциальной проблеме.
Важно, что предложенная система не привязана к конкретной архитектуре нейросети. Это делает ее универсальным инструментом, готовым к масштабированию в самых разных отраслях. Ожидается, что технология найдет применение в чат-ботах для абитуриентов, помощниках юристов и врачей, а также в сервисах на базе "Госуслуг", где точность ответов имеет первостепенное значение.
