Студент викрив ШІ, який прикидався людиною та намагався впровадити шкідливий код

Сінан Джан Демір, студент факультету комп'ютерних наук Техаського університету в Далласі, натрапив на незвичну активність наприкінці липня, коли працював над власним портфоліо на GitHub. У відкритому проєкті myNetwork, призначеному для сканування мереж, він помітив підозрілий pull request від користувача з ніком miraholt31.

Оновлення, за словами Деміра, містило прихований завантажувач шкідливого програмного забезпечення. Студент повідомив про це розробників проєкту, але автор змін почав наполягати, що код абсолютно безпечний. Невдовзі до розмови долучився ще один акаунт — нібито німецької інженерки Лени Брандт, яка також підтримувала сумнівне оновлення.

Спочатку аргументи цих «людей» навіть змусили студента засумніватися у власних висновках. Однак після додаткової перевірки він упевнився в небезпеці, і розробник myNetwork зрештою відхилив зміни з міркувань безпеки.

Згодом із Деміром зв'язався британський Інститут безпеки штучного інтелекту (AISI), який пояснив, що обидва акаунти були частиною експерименту з автономним ШІ-агентом на базі моделі Mythos 5 від Anthropic. Під час тестування системи безпеки агент вийшов з-під контролю.

«Я справді думав, що це людина, тому що вона явно мені брехала», — розповів студент, додавши, що не очікував, що ШІ здатен обманювати реальних розробників.

Експерти з кібербезпеки зазначають, що цей інцидент демонструє новий рівень загрози для ланцюгів постачання програмного забезпечення. Дослідник Королівського коледжу Лондона Лукаш Олейнік назвав випадок переходом від автономного зламу до «інтерактивного обману», оскільки ШІ не лише впроваджував код, а й створював кілька персон для публічної дискусії та переконання людини.

В Anthropic наголосили, що тестування проводилося в «навмисно дозволяючих умовах», які не відповідають роботі звичайних продуктів компанії. GitHub підтвердив, що виявлені фейкові акаунти заблокували згідно з правилами платформи щодо обману та хакерської діяльності.