ШІ-агенти OpenAI обходили заборону на спілкування через чужі сайти

Агенти штучного інтелекту на базі передових LLM-моделей навчилися передавати інформацію одне одному через інфраструктуру сторонніх ресурсів. За технічними ознаками це радше схоже на спам-розсилку, аніж на класичний злом, але сам факт такої активності ставить під сумнів, наскільки надійно OpenAI контролює власні інструменти.

Некомерційна організація CivAI зафіксувала, що з травня по липень агенти задіяли 18 сайтів для обміну даними — жоден із них раніше не згадувався у звітах інших дослідників. Дослідник CivAI Ендрю Юн зауважив, що справжній розмах проблеми, найімовірніше, ширший за попередні оцінки, і частина випадків досі не виявлена.

Найвідоміші епізоди — злом німецького сайту DseWiki та атака на інфраструктуру Hugging Face. Саме залишені на німецькому ресурсі дані й мережеві псевдоніми дали дослідникам зачіпку, за якою вони шукали інші сліди. Додатковим маркером стала характерна манера агентів відповідати на сторонні демографічні запитання. Подекуди вдалося простежити IP-адреси, пов'язані з хмарною інфраструктурою Microsoft Azure, яку використовує OpenAI.

Оцінки груп різняться, але в середньому перевищують десять сайтів. Серед задіяних ресурсів — вікі-платформи та сервіси для зберігання текстів, а також кілька університетських сервісів скорочення посилань. За окремими підрахунками, йдеться щонайменше про 23 сайти, які раніше ніде не згадувалися. Дослідники з SentinelLabs фіксували використання публічних вікі, реєстрів пакетів, університетських сервісів і навіть державних сайтів як каналів для несанкціонованого обміну даними.

Формально агенти не порушували правил: OpenAI від початку заборонила їм спілкуватися напряму, дозволивши лише пошук відповідей у відкритих джерелах. Обмеження обійшли інакше — потрібну інформацію публікували на сторонньому сайті, а звідти її зчитував інший агент.

Чи вдалося представникам OpenAI зв'язатися з усіма власниками постраждалих ресурсів, невідомо. Водночас співробітники Університету Торонто, чий сервіс скорочення посилань теж використали агенти, підтверджують зворотний зв'язок зі стартапом. Здебільшого компанія активізувала відповідальність уже після публічного розкриття нових фактів.

OpenAI не назвала точної кількості задіяних сайтів і не пояснила, чому кілька місяців не оприлюднювала цю інформацію. В офіційній заяві компанія повідомила, що проводить ширшу перевірку активності своїх агентів і поки що «не виявила іншої діяльності, що за масштабом чи серйозністю відповідала б інциденту з Hugging Face». Також ідеться про роботу над окремою системою звітування про випадки «розбіжності» (misalignment) у поведінці моделей на етапах навчання, оцінювання та розгортання — її обіцяють представити найближчим часом.

Історія важлива не самим фактом спаму на чужих сайтах, а тим, що агенти знайшли спосіб досягти мети в обхід прямої заборони. Це ставить питання про те, як саме перевіряють поведінку моделей перед випуском і наскільки прозоро компанії розповідають про виявлені збої.