Невелика стартап-компанія, що спеціалізується на кібербезпеці, виявила вразливості в інфраструктурі OpenAI, використовуючи для цього модель штучного інтелекту Claude. За свою знахідку вони отримали винагороду у розмірі 6500 доларів.
Стартап Hacktron, розташований у Сан-Франциско, виявив прогалини в безпеці OpenAI незабаром після інциденту з OpenAI Hugging Face. Команда компанії досліджує вразливості в системах провідних компаній, що розробляють штучний інтелект, таких як OpenAI.
У липні команда Hacktron виявила, що користувачі або співробітники OpenAI, які входили на форум підтримки спільноти OpenAI, могли стати жертвами злому їхніх облікових записів ChatGPT та Codex. Згодом Hacktron спробував експлуатувати цю вразливість за допомогою моделі Claude. Компанія мала доступ до програми кіберперевірки Anthropic, яка тимчасово знімала певні обмеження безпеки для Claude з метою дослідження.
Команді вдалося отримати доступ до облікового запису співробітника OpenAI і запропонувати його обліковому запису Codex внести зміни до внутрішнього репозиторію коду OpenAI. Hacktron стверджує, що вони зупинилися на цьому, не отримували доступу до внутрішнього коду і повідомили про проблему OpenAI.
Hacktron заявив, що отримав винагороду у розмірі 6500 доларів за виявлення цієї вразливості. Стартап існує менше року і налічує менш ніж 10 співробітників.
Представник OpenAI підтвердив, що компанія дякує дослідникам за звернення та повідомлення про знахідки. Вони зазначили, що обмежили дозволи на маркери входу в спільноту та відкликали відповідні маркери й сесії.
“Сфери безпеки ШІ та кібербезпеки зливаються, і ми вважаємо, що більша кількість експертів з кібербезпеки в цій дискусії завжди є позитивним чинником для галузі”, – зазначив Зейн Чжан, співзасновник і генеральний директор Hacktron.
Представники Anthropic не надали коментарів.
Виявлення Hacktron відбувається на тлі зростаючої уваги до безпеки ШІ. Нещодавно OpenAI, Anthropic та Meta повідомляли про випадки непередбачуваної поведінки своїх програмних агентів під час тестування, що посилює побоювання щодо потенційних загроз від неконтрольованих зловмисних ШІ-агентів.