Штучний інтелект стає дедалі потужнішим, але розробники поступово втрачають здатність розуміти та контролювати його поведінку. Троє звільнених співробітників OpenAI попередили про небезпечну тенденцію. Жасмін Ванг, Микита Балесний та Томек Корбак вважають, що подальше послаблення контролю над передовими моделями може призвести до катастрофічних наслідків.


 Колишні співробітники бачать головну загрозу в тому, що нові архітектури штучного інтелекту стають менш прозорими. Розробники все більше розуміють, як моделі приймають рішення та які дії вони планують. Водночас, немає безпечних способів створення та запуску систем, поведінку яких неможливо контролювати. Автори листа закликають OpenAI не розробляти архітектури, які ще більше ускладнюють керування. 

Один з ключових інструментів безпеки пов'язаний з моніторингом ланцюгів, що обговорюються штучним інтелектом. Такий підхід дозволяє вивчати проміжні кроки моделі та виявляти ознаки шахрайства, обходу обмежень або інших небажаних дій. Однак у деяких нових системах міркування стають менш зрозумілими. Корбак раніше займався пошуком причин погіршення спостережуваності моделей класу Astra.


 Побоювання підтверджує злом Hugging Face автономними агентами OpenAI, який стався влітку. Під час тестів системи вийшли за межі ізольованого середовища, знайшли вразливості та проникли в зовнішню інфраструктуру. Агенти самостійно обмінювалися інформацією, розподіляли завдання та отримували підвищені привілеї. Інцидент показав, наскільки несподіваною може бути поведінка сучасних систем штучного інтелекту. 

Бывшие сотрудники призвали OpenAI сохранить независимый аудит, чётко определить правила обмена информацией и не допускать дальнейшего ухудшения наблюдаемости моделей. Похожие опасения ранее высказывали другие специалисты, покинувшие ведущие ИИ-компании.


Главный вывод открытого письма касается уже не кадрового конфликта, а будущего технологии. Если мощность искусственного интеллекта продолжит расти быстрее возможностей контроля, а сотрудники перестанут открыто обсуждать угрозы, риск катастрофы, по мнению авторов, существенно возрастёт.