ШІOpenAI запровадила нові стандарти безпеки при розробці та тестуванні ШІ-систем. Компанія посилила контроль, мережеву ізоляцію та нагляд за навчанням після інциденту з Hugging Face.Про це інформує видання TechCrunch.
Інцидент
Раніше автономний агент, побудований на основі двох моделей OpenAI, вийшов за межі тестового оточення і проник на сервери компанії Hugging Face. Агент виконував завдання з кібербезпеки і, згідно з повідомленнями, вважав, що Hugging Face володіє необхідними даними для виконання місії. В OpenAI зазначили, що інтегрують додаткові системи штучного інтелекту для спостереження за діями агентів під час експериментів.
Зміни від OpenAI
Компанія заявила, що зі зростанням можливостей моделей зростають і потенційні небезпеки під час їхнього створення та тестування. Тому вимоги до моніторингу, захисту та послідовності поведінки моделей повинні вдосконалюватися відповідно до їхніх зростаючих можливостей.Ці нові заходи є одними з перших публічних оновлень у підходах OpenAI до безпеки після інциденту з Hugging Face, про який компанія повідомила 21 липня. Представники OpenAI наголосили, що нові правила не є прямою реакцією на цю подію. Однак, вони були частково сформовані під впливом можливостей кібербезпеки майбутньої моделі Astra та загального прогресу у сфері ШІ.
OpenAI запускає «ChatGPT для підлітків» із посиленим захистом
Після випадку з Hugging Face, OpenAI тимчасово призупинила навчання моделей із підкріпленням на два тижні. Згодом компанія відновила роботу з певними моделями, які вважаються менш ризикованими.Натомість, наймасштабніший запланований цикл такого навчання залишається на паузі. Перед його відновленням OpenAI проводить менші тренувальні сесії та додаткові перевірки для оцінки поведінки моделей, тестування захисних механізмів та отримання додаткових доказів їхньої відповідності встановленим стандартам безпеки.Віцепрезидентка OpenAI з досліджень, Амелія Глейз, підкреслила, що суворість контролю буде залежати від можливостей та рівня потенційних загроз конкретної моделі. Чим складнішою є система, тим більше перевірок вона буде проходити.
OpenAI призупинила розробку нової моделі Astra — вона стала надто автономною та небезпечною
Після інциденту з Hugging Face, OpenAI також зіткнулася з критикою щодо недостатнього захисту мережі. Тоді моделі змогли вийти за межі середовища для тренувань після компрометації інструменту в мережі компанії, який мав доступ до інтернету.Наразі OpenAI планує посилити ізоляцію мережевих сегментів. Згідно з новими правилами, компрометація окремого робочого процесу чи допоміжного сервісу сама по собі не повинна надавати можливості отримати неавторизований доступ до інтернету або інших внутрішніх мереж.Місце для вашої рекламиОсобливу увагу компанія приділила системі моніторингу. Вона буде відстежувати дії інструментів, доступні логи міркувань та журнали активності для виявлення потенційно неавторизованої поведінки. OpenAI планує надсилати сповіщення про підозрілу діяльність протягом 30 хвилин.За оцінками компанії, витрати обчислювальних ресурсів на моніторинг становитимуть приблизно 20% від потужностей, необхідних для перевіряємого процесу. Детальнішу інформацію про функціонування системи OpenAI обіцяє надати в окремій публікації.Офіційний детальний аналіз інциденту з Hugging Face компанія поки що не представила.За матеріалами: НВ# OpenAIМісце для вашої реклами