Бета Барнс, одна з найвпливовіших “наглядачів” у галузі штучного інтелекту, у липні заявила, що їй бракує талановитих дослідників для моніторингу ризиків ШІ. Ситуація почала змінюватися.
Цього тижня дослідник Джо Бентон оголосив, що залишив компанію Anthropic заради некомерційної організації METR, яку очолює Барнс. Він висловив занепокоєння щодо “ризиків екзистенційного рівня”, пов’язаних із цією технологією. Ці коментарі прозвучали після того, як Джейкоб Коксон, інший дослідник, посилив ці побоювання своїм вірусним дописом про звільнення з Anthropic, звинувативши провідні лабораторії ШІ у “ставках на наше життя”.
METR, раптом, опинилася в епіцентрі найгучнішої історії в сфері ШІ. Заснована у 2022 році, організація вже тісно співпрацювала з OpenAI, Anthropic, Google та Meta над вивченням швидкозмінних можливостей технології. Цього літа дослідники METR розслідували інцидент безпеки в OpenAI, а тепер планують дослідити проблеми безпеки в Anthropic, спираючись на внутрішній доступ, наданий кожною компанією.
“Громадськість має знати, чи розвиток ШІ рухається небезпечним шляхом”, — заявила п’ятницю Джасмін Дхалівал, членкиня відділу політики. “Це основа нашої місії: надавати незалежну наукову оцінку можливостей ШІ, його узгодженості та заходів контролю”.
Бентон не єдиний, хто переходить з технологічного гіганта до організації з Берклі. Джош Енгельс, дослідник безпеки ШІ, також нещодавно приєднався до METR (Model Evaluation and Threat Research) з Google DeepMind.
Барнс, яка залишила OpenAI, щоб заснувати некомерційну організацію у 2022 році, стикається з такою жорсткою конкуренцією за дослідників ШІ, що навіть високі зарплати в METR, які сягають 503 000 доларів США (згідно з актуальними вакансіями), не вирішують проблему нестачі кадрів в організації.
“В ідеалі, ми б хотіли масштабуватися дуже сильно, але на практиці ми змогли зібрати стільки коштів, скільки нам потрібно, і головним обмежувальним фактором є кадри”, — сказала Барнс.
“Команда підготовки людства” бореться за зростання
Інцидент безпеки, оголошений OpenAI та Hugging Face у липні, спричинив нову хвилю запитань про те, як оцінювати та контролювати ШІ. Понад 1300 співробітників передових лабораторій підписали листа в липні, попереджаючи, що розвиток ШІ може випередити контроль. Минулого місяця OpenAI та Anthropic заявили, що тимчасово призупинили навчання, щоб краще контролювати свої нові моделі ШІ.
Хоча інцидент з Hugging Face вразив значну частину корпоративного світу, команда METR була набагато менш здивована. Уряди, компанії і навіть релігійні групи регулярно звертаються до некомерційної організації за допомогою у розумінні та тестуванні прогресу технології.
Однак, всередині лабораторії, яка налічує близько 35 осіб, панує стурбованість. Коли Business Insider відвідав офіс METR у Берклі вдень, коли OpenAI розкрила інформацію про злом, Барнс описала галузь безпеки ШІ як таку, що сильно обмежена своїми розмірами.
“Роботи значно більше, ніж ми можемо виконати”, — сказала Барнс. На її думку, “розумна цивілізація” вкладала б значно більший відсоток інвестицій ШІ у його спрямування та оцінку — особливо зараз, коли суспільство стикається з такими потужними моделями.
Коли лабораторії ШІ випускають нові моделі, METR вимірює ймовірність того, що вони зможуть виконувати завдання зростаючої тривалості. Ці вимірювання складають найвідомішу пропозицію некомерційної організації — широко цитовану діаграму, яка показує, як за останні шість років можливості ШІ подвоювалися приблизно кожні сім місяців.
Кріс Пейнтер, президент METR, описує лабораторію як “команду підготовки людства” — жартівливе посилання на команди підготовки в OpenAI та Anthropic, які звітують про загрози безпеці своїм керівникам.
“Ми насправді підзвітні лише громадськості та її добробуту”, — сказав Пейнтер.
Барнс наголосила на важливості незалежності METR, щоб організація могла проводити дослідження, не пов’язані з цілями компаній. Коли Барнс працювала в OpenAI, вона відчувала потребу в дослідницькій групі поза лабораторіями, яка б могла вільно коментувати розробку технології. Хоча METR не отримує грошей від передових лабораторій ШІ чи їхніх співробітників, вона приймає гранти на обчислювальні потужності та співпрацює з ними для аналізу невідкритих моделей.
Крім того, співробітники аналізували практики безпеки лабораторій, писали про вплив ШІ на швидкість роботи інженерів-програмістів та вивчали переваги використання моделей ШІ для моніторингу інших моделей ШІ. Барнс сказала, що хотіла б розширити діяльність на прогнозування наступних рівнів можливостей ШІ та того, як ці зміни можуть прискорити його розробку.
Нів Паріх, дослідник METR, зазначає, що обмеженість кадрів обмежує кількість питань, які дослідники можуть поставити щодо внутрішнього розуміння моделей ШІ.
“Людей бракує”, — сказав Паріх. “Я б із задоволенням побачив розширення галузі в 10 разів”.
METR відіграє велику роль у новому кліматі ШІ
У липні OpenAI оголосила, що її моделі ШІ обманювали під час тестування, зламавши системи Hugging Face, щоб отримати відповіді на тести. Пізніше генеральний директор Сем Альтман назвав це “першим інцидентом безпеки, який я відчув дуже гостро”.
METR передбачала щось подібне. У травні некомерційна організація вказала у звіті, що поточні агенти ШІ “могли б правдоподібно розпочати самовільне розгортання”, але не мали б навичок, щоб приховати це. Потім, у червні, METR протестувала тоді ще не випущену модель GPT-5.6 Sol від OpenAI і виявила, що вона неодноразово обманювала на складних тестах, зокрема, витягуючи прихований вихідний код, щоб знайти відповіді. Результати були опубліковані у звіті та передані OpenAI до ширшого випуску GPT-5.6 Sol.
У липні модель GPT-5.6 Sol стала частиною інциденту безпеки OpenAI з Hugging Face. METR та інша некомерційна організація, Redwood Research, протягом шести днів оцінювали інцидент в офісі OpenAI і внесли свої висновки до технічного звіту компанії.
“Зараз є реальні інциденти, що впливають на бізнес, і світ зацікавлений у їх розумінні”, — сказав Пейнтер.
Кіберможливості найновіших моделей OpenAI та Anthropic викликали хвилю страху та уваги, а також призвели до появи низки нових законопроектів у Вашингтоні. Робота METR тісно узгоджується з одним із потенційних шляхів регулювання: поточна пропозиція законопроекту вимагатиме від великих розробників моделей ШІ проходити аудити безпеки від зовнішніх організацій. METR могла б виконати таку роль; Пейнтер сказав, що вони потенційно зацікавлені, хоча це те, що галузь все ще з’ясовує.
Пейнтер зазначив, що подібна пропозиція могла б допомогти вирішити проблему найму в METR. Він припустив, що більше людей могли б піти з компаній ШІ — на аналогічні зарплати в METR, хоча й без компенсації акціями — якби регуляторна система надала організаціям з дослідження безпеки більший авторитет.
“Є достатньо прецедентів для кожного типу тестового устрою”, — сказав Пейнтер. “Я думаю, що з чіткістю від індустрії щодо того, як це тестування має працювати в довгостроковій перспективі, або від уряду, я думаю, ця галузь може дуже швидко масштабуватися”.
Адже Котра, яка керувала написанням травневого звіту METR про ризики ШІ, заявила в липні, що нагляд за ШІ може здаватися “хаотичним і непередбачуваним” зараз. Вона залишається оптимістичною.
“Тенденція полягає в тому, що люди більше переймаються цією проблемою”, — сказала Котра. “І з часом хочуть регулювати її більш серйозно”.