Ученые нашли метод борьбы с галлюцинациями ИИ
Международная команда исследователей под руководством ученых из Хайфского Техниона (Израиль) разработала экономичный способ отслеживания сбоев в работе нейросетей. Новый метод не требует полного понимания внутренних механизмов ИИ. Об этом пишет издание TechInsider.
Главная проблема контроля искусственного интеллекта — эффект «черного ящика». Современные нейросети содержат миллиарды параметров, и логика их выводов остается непрозрачной. Из-за этого «галлюцинации» — уверенная генерация ложной информации — долгое время были непредсказуемы.
Ученые предложили создавать внешнего «инспектора» — легкую нейросеть, которая обучается на внутренних сигналах большой модели. Когда ИИ галлюцинирует, геометрия его активаций отличается от нормальной. Маленькая сеть быстро улавливает эту разницу, давая пользователям инструмент контроля.
Работу возглавил доктор Хаггай Марон. Исследования ведутся совместно с компанией NVIDIA. Результаты признаны на престижных конференциях по машинному обучению, а последние будут представлены на AAAI-2026 в Сингапуре.
Новый подход открывает перспективы для создания систем предупреждения и стандартов безопасности в медицине, образовании, науке и госрегулировании. «Это шаг к ответственному внедрению ИИ», — отметил доктор Марон.
