Программа, способная в автоматическом режиме подбирать атаки на нейросети беспилотного транспорта, создана в петербургском ЛЭТИ. Алгоритм ищет способы заставить автопилот принять один дорожный знак за другой предмет. Раньше такую проверку специалисты проводили вручную, что занимало много времени.
Как нейросеть автопилота ошибается из-за незаметного фильтра
Беспилотный транспорт «видит» окружающий мир с помощью нейросетей. Они распознают объекты и определяют, что именно находится перед машиной. Однако у такого зрения есть уязвимость.
Злоумышленник может наложить на изображение особый фильтр, который человек даже не заметит, а нейросеть из-за него ошибется. Например, примет дорожный знак за совсем другой предмет. Сейчас устойчивость таких систем к атакам проверяют специалисты вручную. Это занимает много времени, результат зависит от опыта конкретного эксперта, а систематически перебрать все варианты атак невозможно.
Напомним, что ранее в России уже представили алгоритм для квантовых вычислений, ускоряющий обучение нейросетей в 326 раз.
Что умеет программа ЛЭТИ
Команда ЛЭТИ собрала в единую программу алгоритм, который сам подбирает самые эффективные способы обмануть модель компьютерного зрения. Разработка позволяет находить и устранять бреши до выпуска системы.
Программа автоматически генерирует атаки и проверяет, как нейросеть на них реагирует. Это ускоряет тестирование и делает его более полным по сравнению с ручной работой экспертов.
Это происходит на фоне того, что ИИ-агент OpenAI ранее взломал правительственный портал Австралии, а компания сообщила об этом властям лишь спустя три месяца.
Программа ищет уязвимости в нейросетях автопилотов автоматически, без многoчасовой ручной работы специалистов.
Его разработали ученые петербургского ЛЭТИ, сообщает ТАСС.
Почему автоматическая проверка уязвимостей меняет разработку автопилотов
Беспилотный транспорт становится все ближе к массовому внедрению, и безопасность нейросетей — ключевой барьер на этом пути. Атаки на модели компьютерного зрения известны давно: исследователи показывали, как наклейка на дорожном знаке сбивает автопилот с толку.
Новый инструмент ЛЭТИ переводит проверку таких уязвимостей из ручного режима в автоматический. Это снижает зависимость от человеческого фактора и позволяет тестировать системы быстрее и масштабнее.
Уязвимости нейросетей — часть более широкой проблемы безопасности ИИ, которая касается не только транспорта, но и любых систем распознавания изображений.
Для разработчиков автопилотов это означает возможность проверять модели на устойчивость к атакам еще на этапе проектирования, а не после выпуска. Пока неясно, насколько широко новая программа будет применяться в коммерческих проектах и пройдет ли она независимую проверку.