Камера видит знак, нейросеть путается: почему в России беспилотные авто уязвимы
Ученые нашли уязвимость систем распознавания дорожных знаков
Выцветший, потрескавшийся или покрытый следами коррозии дорожный знак может оставаться понятным человеку, но заставлять систему компьютерного зрения ошибаться. Исследователи из Kyung Hee University и SeoulTech проверили это с помощью AdvWT — генератора реалистичного износа. Важная оговорка: тестировался не готовый автопилот, а алгоритмы распознавания дорожных знаков.
AdvWT построен на StarGAN-v2 и учится переносить на изображение естественный «стиль повреждения», сохраняя смысл самого знака. Реалистичность полученных изображений дополнительно оценивали 32 человека. Затем систему испытали на двух наборах дорожных знаков и восьми архитектурах нейросетей. На легких CNN, включая ResNet-18 и MobileNet, исследователи получили почти максимальную успешность атак; эффект сохранялся и на transformer-моделях.
Проверкой на компьютере работа не ограничилась. Команда распечатала обычные и искусственно поврежденные знаки ограничения скорости, после чего снимала их с разных расстояний и углов, в помещении и на улице. Классификаторы продолжали ошибаться. При этом обучение на сгенерированных AdvWT повреждениях, наоборот, улучшало распознавание реально изношенных знаков.
Есть и поправка к сегодняшней подаче CarBuzz. Из работы нельзя сделать вывод, что выцветший знак автоматически обманет Waymo или другую серийную систему. Современные проекты автономного вождения сверяют камеры с другими источниками: Waymo использует камеры, лидары и радары, тогда как Tesla делает значительно большую ставку на компьютерное зрение. Ошибка одного классификатора поэтому не равна ошибке всего автомобиля.
Есть и другой класс риска. В январе исследователи UC Santa Cruz и Johns Hopkins показали CHAI — атаку, при которой визуально-языковая модель принимает текст на физическом объекте за команду. В их экспериментах успешность достигала 81,8% в сценариях автономного автомобиля и 95,5% при слежении дроном; атака сработала и на небольшом реальном роботизированном автомобиле. Это уже не износ знака, а «prompt injection» через камеру.
Обе работы указывают на одну проблему: машине недостаточно просто «видеть» знак — система должна устойчиво понимать его при повреждениях, плохой геометрии и противоречивых данных. Даже у нынешних ADAS качество изображения зависит от установки камеры: после замены лобового стекла для некоторых автомобилей требуется ее повторная калибровка. AdvWT предлагает еще один способ защиты — заранее учить нейросеть на реалистично испорченных знаках, а не ждать, пока такой сценарий встретится на дороге.