Российский ученый нашел способ ловить логические ошибки в рассуждениях ИИ
Ученый из России разработал метод, который позволяет выявлять структурно необоснованные цепочки рассуждений в работе больших языковых моделей, даже если эти ошибки изложены бегло и убедительно. Методика повысит надежность ИИ в медицине и других сферах, где цена ошибки высока, сообщил Центр научной коммуникации МФТИ. Об этом пишет сайт ТАСС.
Ведущий научный сотрудник Института искусственного интеллекта МФТИ Борис Галицкий предложил набор данных для изучения галлюцинаторных диагностических рассуждений и выявил структурные признаки, которые отличают обоснованные объяснения от галлюцинаций. Эти признаки можно использовать для обнаружения ошибок и верификации рассуждений.
По словам Галицкого, в результатах работы ИИ могут встречаться не только вымышленные факты, но и цепочки рассуждений с логическими ошибками. Особенно опасны такие ошибки при ответах на сложные медицинские, юридические или научные вопросы, где нужно искать и сопоставлять доказательства.
Для проверки идеи исследователь подготовил около тысячи жалоб вымышленных пациентов с подозрением на аутоиммунные заболевания. Для каждой жалобы создали два варианта ИИ-рассуждений: один обоснованный, другой галлюцинаторный. Тексты разбили на короткие смысловые фрагменты и проанализировали специальным алгоритмом классификации.
Расчеты показали, что корректные и галлюцинаторные рассуждения можно отличить в 81% случаев, опираясь только на структуру мыслей. Если учитывать содержание текстов, точность вырастает до 84%. В перспективе такие алгоритмы позволят заметно повысить качество работы больших языковых моделей в областях, где ошибки ИИ могут привести к серьезным последствиям.


