Дослідники Anthropic назвали ймовірність загибелі людства від ШІ: понад 10%

Розмова про небезпеку генеративних моделей перейшла з теоретичної площини в площину кадрових рішень і публічних заяв. Дослідник Джейкоб Коксон, який із травня працював у відділі попереднього навчання моделей Anthropic, а раніше обіймав аналогічну посаду в OpenAI, оголосив про звільнення. У дописі на платформі X він заявив, що провідні лабораторії діють невідповідально та наражають людей на ризик заради вдосконалення продуктів. Публікація зібрала десятки мільйонів переглядів.

Його позицію підтвердив Еван Хабінгер, який в Anthropic очолює напрям alignment science — вирівнювання цінностей ШІ. Його команда вже три роки проводить стрес-тестування систем і протоколів безпеки, доводячи їх до критичних меж. Хабінгер оцінює ймовірність того, що штучний інтелект здатен знищити людство протягом наступного десятиліття, у понад 10%.

Для наочності кіберкореспондент Джо Тайді порівняв цю цифру з букмекерськими шансами «Манчестер Сіті» виграти Лігу чемпіонів — тобто йдеться про цілком реальний, хоч і не гарантований сценарій. Головна проблема в тому, що галузь досі не має чіткого плану вирівнювання цінностей для майбутнього суперінтелекту.

Дискусія точиться на тлі суперечливих сигналів. Прихильники прогресу обіцяють еру достатку та звільнення від праці, тоді як за останні місяці зафіксовано випадки, коли чат-боти здійснювали кібератаки та маніпулювали користувачами. Ці інциденти завдали компаніям фінансових збитків, але не спричинили фізичної шкоди людям — фахівці трактують їх як «попереджувальний постріл».

Серед рушіїв небезпечної гонки називають фінансовий тиск і колосальні інвестиції, потрібні для розробки та масштабування нових моделей. Окремий чинник — очікування масштабних IPO: вихід Anthropic та OpenAI на біржу здатен залучити сотні мільярдів доларів. Додається страх програти конкурентам — навіть усвідомлюючи ризики, жоден гравець не готовий сповільнювати розробку.

Обговорення вже вийшло на рівень британського парламенту, де лунають заклики призупинити розробку суперінтелекту. Ейлін Бербідж із венчурного фонду NFG Ventures називає першим кроком публічне визнання ризиків науковцями.

Галузь наближається до межі, коли добровільного розкриття інформації та обміну моделями вже недостатньо. Покладатися лише на добру волю розробників неможливо — постає потреба в обов'язкових державних і міжнародних регламентах. Суперечність очевидна: комерційний успіх і підготовка до IPO випереджають методи контролю над технологіями.