Небезпечний фоновий шум: як звичайне відео на YouTube може зламати вашого ШІ-асистента
Шкідливі звукові команди можна легко замаскувати у звичайних подкастах або випадкових відео, наприклад на YouTube. Якщо користувач увімкне таке відео навіть у фоновому режимі, прихований сигнал змусить голосового асистента на пристрої виконати команду хакерів. За наявності відповідних системних дозволів зловмисники через ШІ-бота потенційно можуть отримати доступ до конфіденційних даних користувача: особистих фотографій, файлів та навіть банківських рахунків.
Як зазначає провідний автор дослідження Мен Чень із Чжецзянського університету, на створення такого сигналу потрібно лише пів години. Головна проблема захисту полягає в том, що ШІ-моделям вкрай важко відрізнити легітимний запит користувача від зловмисної прихованої атаки.
Втім, технологія наразі має суттєве обмеження: щоб трюк спрацював, хакерам потрібен доступ до внутрішніх параметрів (ваг) ШІ-моделі. Це означає, що під загрозою насамперед опиняються продукти, побудовані на базі моделей із відкритим вихідним кодом (open-source), які активно використовуються багатьма комерційними системами, зокрема розробками Microsoft та Mistral. У Microsoft уже відреагували на звіт, зазначивши, що дослідження допомагає покращити кібербезпеку, і компанія вже надає розробникам рекомендації для створення додаткових рівнів захисту.
Плюси та мінуси вразливості для зловмисників
- Плюси (легкість атаки)
Створення сигналу займає всього 30 хвилин; команду можна замаскувати у будь-якому відео на YouTube або подкасті; - ШІ не вміє розрізняти такі запити від легіtemporary користувацьких.
- Мінуси (обмеження для хакерів)
Потрібен прямий доступ до внутрішніх параметрів (ваг) моделі; - атака працює переважно проти систем на базі open-source рішень.
ЯК ЗАХИСТИТИСЯ
Оскільки ШІ-моделі поки що слабко розрізняють людський голос і приховані частоти, порятунок безпеки ваших даних лежить у площині базової кібергігієни та налаштувань пристроїв.
Головні правила захисту від подібних атак
Обмежуйте дозволи для голосових асистентів. Перевірте налаштування конфіденційності на смартфоні, ноутбуці чи розумній колонці. Вимкніть для голосового ШІ-боту доступ до критично важливих програм: банківських застосунків, галереї, менеджерів паролів та особистих документів.
Вимкніть постійне фонове прослуховування. Налаштуйте ШІ-асистента так, щоб він активувався лише після фізичного натискання кнопки (наприклад, навушників чи смартфона), а не від постійно увімкненого мікрофона, що реагує на кодові слова у просторі.
Не залишайте пристрої «сам на сам» із медіаконтентом. Намагайтеся не залишати увімкненого голосового асистента поруч із телевізором, ноутбуком або телефоном, на якому у фоновому режимі програються випадкові відео з YouTube чи подкасти від неперевірених авторів.
Уникайте підозрілого контенту. Дивіться відео та слухайте аудіоматеріали лише на офіційних або перевірених каналах із хорошою репутацією. Не вмикайте низькоякісні «сміттєві» ролики чи випадкові трансляції, створені ботами.
Встановлюйте додаткове підтвердження для операцій. Навіть якщо голосовий асистент має доступ до якихось дій (наприклад, відправка повідомлень чи керування розумним будинком), увімкніть обов’язкове двофакторне підтвердження (2FA) або введення ПІН-коду на екрані для підтвердження будь-яких важливих змін.
UITech Media
Розвиток технологій голосового ШІ створює не лише нові зручності, але й неочевидні вектори для кібератак. Захист розробників open-source моделей та впровадження фільтрації частот на рівні мікрофонів стануть головними викликами для індустрії безпеки у найближчі роки. Доки виробники створюють патчі, безпека користувачів повністю залежить від обмеження дозволів для ШІ-помічників.
Більше новин в телеграмі
