- Дослідники протестували перший комп’ютерний ШІ-вірус.
- Хробак Morris II знаходить уразливості в роботі LLM, отримуючи доступ до даних.
- Реальних атак поки не було, але компаніям варто до них підготуватися.
Розробники стали все частіше замислюватися про те, які ризики приховує в собі сфера штучного інтелекту. Одним із них є поява нейромережевих вірусів, здатних викрадати або псувати чужі дані.
Дослідники добре розуміють, що раз поява таких хробаків можлива, то варто до неї підготуватися. Фахівці з інформаційної безпеки створили в тестовому середовищі вірус, який може автоматично поширюватися між ШІ-агентами, копіюючи заскерчену інформацію і розсилаючи спам електронною поштою.
1988: Morris I
Хробак Morris або інтернет-хробак — один із найстаріших комп’ютерних вірусів, що поширюються через інтернет.
Він відомий тим, що призвів до першого в США звинувачення в порушенні Закону про комп’ютерне шахрайство і зловживання. Morris отримав свою назву на честь автора, аспіранта Корнельського університету Роберта Таппана Морріса. Вірус запущено 2 листопада 1988 року з мережі Массачусетського технологічного інституту.
Дискета з Музею комп’ютерної історії, що містить вихідний код хробака Морріса. Джерело: Cyberdelianyc.
Апеляційний суд США оцінив вартість видалення вірусу з кожного зараженого комп’ютера в $200-53 000. Виходячи з цих цифр, Бюро урядової звітності повідомило, що загальний економічний збиток склав від $100 000 до $10 000 000.
Інцидент продемонстрував небезпеку використання однієї ОС, оскільки «якби всі системи в ARPANET працювали на Berkeley Unix, вірус вивів би з ладу всі 50 000 з них».
2024: Morris II
Дослідники з Корнельського університету, Ізраїльського технологічного інституту та компанії Intuit створили новий тип шкідливого ПЗ під назвою Morris II. Це перший ШІ-хробак, названий на честь знаменитого комп’ютерного вірусу минулого століття.
За словами розробників, Morris II може використовувати слабкі місця в безпеці таких ШІ-моделей, як ChatGPT і Gemini.
«Це означає, що з’явилася можливість провести або здійснити новий вид кібератаки, з яким ще ніхто не стикався», — пояснив один із дослідників Бен Нассі.
Більшість моделей генеративного ШІ працює за допомогою промтів. Такі команди можна використовувати проти системи: наприклад, дати неявні інструкції, запропонувавши адресу шкідливої сторінки з прихованим текстом таких команд.
Принцип роботи вірусу полягає в механізмі adversarial self-replicating prompt. Він схожий на традиційні схеми атак на кшталт SQL-ін’єкцій і переповнення буфера.
Morris II перевантажує систему електронної пошти повідомленнями внаслідок їх постійного пересилання. Хробак може отримати доступ до даних і змінювати їх, а також викрадати інформацію і поширювати шкідливе ПЗ.
Щоб продемонструвати його роботу, дослідники створили поштову систему, яка може надсилати та отримувати повідомлення за допомогою генеративного ШІ, під’єднавши до неї ChatGPT, Gemini та LLaVA.
Здійснюючи тестову атаку, вони підготували електронний лист зі шкідливою командою на генерацію відповіді з використанням пошуку в інтернеті, під час якого велика мовна модель звертається за додатковою інформацією в мережу.
Отримавши таке повідомлення, служба для генерації відповіді надсилає запит до GPT-4 або Gemini Pro — він здійснює «злом генеративного ШІ» і здійснює крадіжку даних з електронних листів.
Дослідники стверджують, що в такий спосіб можна витягувати дані електронних листів, зокрема номери телефонів, кредитних карт, номерів соціального страхування — будь-яку конфіденційну інформацію.
Подібні віруси ще не були виявлені на практиці. Але дослідники рекомендували враховувати потенційну загрозу всім — від розробників-одинаків до стартапів і корпорацій.
Нагадаємо, у лютому журналісти Financial Times повідомили про застосування ШІ північнокорейськими хакерами для реалізації шахрайських схем і зломів.