Опасный фоновый шум: как обычное видео на YouTube может взломать вашего ИИ-ассистента
Вредоносные звуковые команды можно легко замаскировать в обычных подкастах или случайных видео, например на YouTube. Если пользователь включит такое видео даже в фоновом режиме, скрытый сигнал заставит голосового ассистента на устройстве выполнить команду хакеров. При наличии соответствующих системных разрешений злоумышленники через ИИ-бота потенциально могут получить доступ к конфиденциальным данным пользователя: личным фотографиям, файлам и даже банковским счетам.
Как отмечает ведущий автор исследования Мэн Чэнь из Чжэцзянского университета, на создание такого сигнала требуется всего полчаса. Главная проблема защиты заключается в том, что ИИ-моделям крайне трудно отличить легитимный запрос пользователя от злонамеренной скрытой атаки.
Впрочем, технология на данный момент имеет существенное ограничение: чтобы трюк сработал, хакерам нужен доступ к внутренним параметрам (весам) ИИ-модели. Это означает, что под угрозой в первую очередь оказываются продукты, построенные на базе моделей с открытым исходным кодом (open-source), которые активно используются многими коммерческими системами, в частности разработками Microsoft и Mistral. В Microsoft уже отреагировали на отчет, отметив, что исследование помогает улучшить кибербезопасность, и компания уже предоставляет разработчикам рекомендации для создания дополнительных уровней защиты.
Плюсы и минусы уязвимости для злоумышленников
- Плюсы (легкость атаки)
Создание сигнала занимает всего 30 минут; команду можно замаскировать в любом видео на YouTube или подкасте; - ИИ не умеет отличать такие запросы от легитимных пользовательских.
- Минусы (ограничения для хакеров)
Нужен прямой доступ к внутренним параметрам (весам) модели; - атака работает преимущественно против систем на базе open-source решений.
КАК ЗАЩИТИТЬСЯ
Поскольку ИИ-модели пока слабо различают человеческий голос и скрытые частоты, спасение безопасности ваших данных лежит в плоскости базовой кибергигиены и настроек устройств.
Главные правила защиты от подобных атак
Ограничивайте разрешения для голосовых ассистентов. Проверьте настройки конфиденциальности на смартфоне, ноутбуке или умной колонке. Отключите для голосового ИИ-бота доступ к критически важным программам: банковским приложениям, галерее, менеджерам паролей и личным документам.
Отключите постоянное фоновое прослушивание. Настройте ИИ-ассистента так, чтобы он активировался только после физического нажатия кнопки (например, наушников или смартфона), а не от постоянно включенного микрофона, реагирующего на кодовые слова в пространстве.
Не оставляйте устройства «один на один» с медиаконтентом. Старайтесь не оставлять включенного голосового ассистента рядом с телевизором, ноутбуком или телефоном, на котором в фоновом режиме проигрываются случайные видео с YouTube или подкасты от непроверенных авторов.
Избегайте подозрительного контента. Смотрите видео и слушайте аудиоматериалы только на официальных или проверенных каналах с хорошей репутацией. Не включайте низкокачественные «мусорные» ролики или случайные трансляции, созданные ботами.
Устанавливайте дополнительное подтверждение для операций. Даже если голосовой ассистент имеет доступ к каким-то действиям (например, отправка сообщений или управление умным домом), включите обязательное двухфакторное подтверждение (2FA) или ввод ПИН-кода на экране для подтверждения любых важных изменений.
UITech Media
Развитие технологий голосового ИИ создает не только новые удобства, но и неочевидные векторы для кибератак. Защита разработчиков open-source моделей и внедрение фильтрации частот на уровне микрофонов станут главными вызовами для индустрии безопасности в ближайшие годы. Пока производители создают патчи, безопасность пользователей полностью зависит от ограничения разрешений для ИИ-помощников.
Більше новин в телеграмі
