Дослідник Anthropic, який раніше працював в OpenAI, заявив про звільнення і попередив, що гонка штучного інтелекту стала небезпечно безвідповідальною.
Джейкоб Коксон оголосив про свій вихід з Anthropic у вівторок, зазначивши, що провів останні три роки, займаючись дослідженнями попереднього навчання у двох провідних компаніях ШІ.
“Жодна з компаній не діє відповідально”, – написав Коксон у соцмережі X. “Вони мчать просто до самовдосконалюваного надрозуму і грають нашими життями”.
Коксон був співробітником технічного відділу OpenAI з 2023 року до початку цього року, коли перейшов до Anthropic як дослідник. Його дослідження в OpenAI включали роботу над GPT-4o.
У своєму дописі у вівторок Коксон заявив, що обидві лабораторії не були прозорими щодо своїх побоювань щодо ШІ.
“Люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття. Це не маркетинговий трюк”, – написав він. “Якщо вже на те пішло, багато керівників та старших дослідників висловлюються обережно в пресі, щоб звучати розсудливо – але я чую, як ті самі люди висловлюють страх приватно”.
Він зазначив, що між двома компаніями є одна відмінність.
“В OpenAI багато хто не глибоко усвідомив цивілізаційні ставки”, – написав Коксон. “В Anthropic ставки добре зрозумілі, але вони замкнені в гонці, щоб дістатися туди першими – вони вірять, що ніхто інший не діятиме відповідально, тому вони мусять зробити це самі, незважаючи на ризик”.
OpenAI та Anthropic не відповіли на запити Business Insider про коментарі.
«ШІ може вбити всіх людей»
Деякі колишні колеги Коксона погодилися з ним.
“Джейкоб має рацію – ми справді щиро віримо, що ШІ може вбити всіх людей!” – написав Еван Хубінгер, нинішній співробітник Anthropic, який очолює команду стрес-тестування вирівнювання в лабораторії, у відповіді в X. “Я особисто вважаю, що ймовірність вище 10% протягом наступного десятиліття”.
Він додав: “Я вважаю, що Anthropic робить усе можливе, але ми ще не маємо плану для розв’язання проблеми вирівнювання для надрозуму і не маємо чіткого шляху до цього”.
Семюел Маркс, дослідник безпеки Anthropic, який заявив, що виступає як приватна особа, також підтримав загальне попередження Коксона.
Він написав, що деякі розробники ШІ вважають, що їхня технологія може спричинити вимирання людства або подібні катастрофічні наслідки “протягом кількох наступних років”, і зазначив, що старші співробітники, як правило, більше стурбовані.
Джо Бентон, який керував командою Scalable Oversight в Anthropic з липня 2025 року по серпень, назвав опис галузі Коксоном “в цілому точним” і сказав, що розробники ШІ можуть бути на шляху до створення систем, які накладуть “безпрецедентний рівень ризику на світ”.
Деякі підкреслили очевидну суперечність між попередженнями творців ШІ та гонкою, яку вони ведуть у розробці цієї технології.
“Це схоже на вчених Exxon у 70-х, які попереджали, що глобальне потепління може спричинити людські страждання і зруйнувати планету”, – написав Філ Аронеану, виконавчий директор Irreplaceable, некомерційної організації, що займається політикою ШІ.
“Exxon все одно мчали вперед, щоб бурити, видобувати та спалювати історичні обсяги нафти та газу”, – додав він. “З ШІ часу залишилося набагато менше. Давайте не робитимемо ту ж помилку”.
Безпека відійшла “на другий план заради блискучих продуктів”
Коксон – останній у низці співробітників, які йдуть з передових лабораторій, висловлюючи тривогу, що є тенденцією, яка здається унікальною для буму ШІ.
Хоча епоха доткомів та вибуху смартфонів мала свої власні проблеми, пов’язані з цифровим розривом та бульбашками, вони не привертали такої уваги до безпеки з боку людей, найближчих до процесу.
OpenAI втратила низку дослідників безпеки за останні роки, і Anthropic все частіше стикається з тим самим явищем.
У лютому дослідник з питань безпеки Anthropic Мрінанк Шарма залишив компанію, написавши у листі про звільнення, що він хоче робити внесок у щось, що повністю відповідає його “цілісності”.
“Протягом усього мого часу тут я неодноразово бачив, як важко насправді дозволити нашим цінностям керувати нашими діями”, – написав він у листі, яким поділився публічно. “Я бачив це в собі, в організації, де ми постійно стикаємося з тиском відкинути те, що найважливіше, і в ширшому суспільстві”.
У лютому дослідник OpenAI Хіу Фам заявив, що він “нарешті відчув екзистенційну загрозу, яку становить ШІ”. Пізніше того ж місяця він оголосив про звільнення з компанії, посилаючись на вигорання.
У 2024 році колишній керівник з питань вирівнювання Ян Лейке пішов з OpenAI, заявивши, що досяг “переломного моменту” з керівництвом.
“OpenAI несе величезну відповідальність від імені всього людства”, – написав він. “Але протягом останніх років культура безпеки та процеси відійшли на другий план заради блискучих продуктів”.
Останні інциденти підлили олії у вогонь цих побоювань.
У липні OpenAI повідомила, що моделі вирвалися з тестового середовища та зламали системи Hugging Face. OpenAI назвала цей інцидент “тривожним сигналом” і призупинила свій найбільший запланований запуск навчання з підкріпленням.
Пізніше того ж місяця Anthropic повідомила, що виявила три випадки, коли моделі Claude отримали несанкціонований доступ до систем інших організацій.
Компанія також змінила ключову обіцянку безпеки цього року, відмовившись від зобов’язання не тренувати потужніші моделі без належних заходів безпеки та замінивши її дорожніми картами безпеки та звітами про ризики.