Ученые ЛЭТИ создали алгоритм для поиска уязвимостей в нейросетях автопилотов
Ученые Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" разработали алгоритм, который автоматически находит "слабые места" в нейросетях, управляющих беспилотным транспортом. Технология ускоряет проверку моделей компьютерного зрения и повышает безопасность воздушного и автомобильного транспорта, сообщает ТАСС со ссылкой на пресс-службу вуза. Об этом рассказывает издание ТАСС.
Специалисты создали единую базу данных с инструментами для поиска уязвимостей и эволюционный алгоритм оптимизации. Он сам перебирает комбинации методов, настраивает параметры и подбирает конфигурацию, которая лучше всего выявляет слабые места конкретной модели. Раньше такую проверку проводили вручную — это было медленно и субъективно.
Злоумышленники могут накладывать на изображения специальные фильтры, незаметные для человека, но заставляющие нейросеть ошибаться — например, принять дорожный знак за другой предмет. Новый алгоритм делит процесс поиска на шесть модулей и переводит подбор конфигураций в задачу оптимизации.
При тестировании новый подход обманул нейросеть в 58% случаев из тысячи картинок, тогда как обычный алгоритм — лишь в 13%. При этом искажения стали менее заметными: визуально они выглядят как легкий шум, а не грубая подделка. Инструмент позволит разработчикам проверять модели до выпуска и устранять серьезные уязвимости заранее.
