Anthropic предупредила о приближении ИИ к порогу самосовершенствования
Разработчик нейросети Claude, компания Anthropic, предупредила о приближении к порогу, после которого искусственный интеллект сможет значительно ускорять создание собственных преемников. Предупреждение содержится в поправке к документам для выхода на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США. Эту информацию сообщает сайт Life.ru.
Речь идет о рекурсивном самосовершенствовании: нейросети помогают исследователям создавать более совершенные модели, а новые поколения ИИ еще сильнее ускоряют разработку следующих версий. В компании считают, что будущие модели могут вскоре приблизиться к установленному порогу ускорения исследований. Согласно политике ответственного развития, один из критериев — ситуация, когда благодаря ИИ за год достигается прогресс, на который без такой помощи потребовалось бы два года. Пока ни одна из действующих моделей Claude официально не признана достигшей этого уровня.
ИИ уже активно участвует в разработке собственных преемников: в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты компании. Нейросеть также помогает проводить эксперименты, обрабатывать данные и проверять результаты исследований. Главное опасение разработчиков связано с тем, что механизмы безопасности могут не успевать за ростом возможностей ИИ. Компания признала, что в прошлом не всегда своевременно обнаруживала ускорение собственных исследований, а ошибки одной модели могут передаваться новым поколениям нейросетей.
В числе потенциальных рисков Anthropic рассматривает утечку конфиденциальных данных, непредусмотренные действия автономных систем и возможность использования продвинутого ИИ в опасных исследованиях, включая разработку химического и биологического оружия. Для снижения рисков разработчик намерен усиливать контроль над исследовательскими процессами, сохранять журналы важных действий ИИ и привлекать независимых специалистов к оценке безопасности. Ранее глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта из-за серьезных рисков, заявив, что возможности нейросетей растут быстрее, чем он ожидал.
