Дослідники з Anthropic оцінюють ризик загибелі людства від ШІ у понад 10%

Розмова про небезпеку генеративних моделей перейшла з вузьких технічних дискусій у публічну площину. Приводом стала заява дослідника Джейкоба Коксона, який працював у відділі попереднього навчання моделей Anthropic з травня, а до того обіймав аналогічну посаду в OpenAI. Про своє звільнення він повідомив у соцмережі X, зазначивши, що провідні лабораторії діють безвідповідально й наражають людей на ризик заради вдосконалення продуктів. Допис зібрав десятки мільйонів переглядів.

Компанія Anthropic, розробник чат-бота Claude, популярного серед програмістів, колись відокремилася від OpenAI саме через розбіжності щодо суворості процедур безпеки. Тепер внутрішня криза назріла й у ній самій.

Слова Коксона підтвердив Еван Хабінгер, який в Anthropic очолює напрям alignment science — вирівнювання цінностей штучного інтелекту. Його команда вже три роки проводить стрес-тестування систем і протоколів безпеки, доводячи їх до критичних меж. Хабінгер оцінює ймовірність того, що ШІ здатен знищити людство в найближчі десять років, у понад 10%.

Для наочності кіберкореспондент Джо Тайді порівнює цю цифру з букмекерськими шансами «Манчестер Сіті» виграти Лігу чемпіонів — перспектива цілком реальна. Інша проблема полягає в тому, що галузь досі не має чіткого плану вирівнювання цінностей для майбутнього суперінтелекту.

Дискусія точиться на тлі суперечливих сигналів. Прихильники прогресу обіцяють еру достатку та звільнення від праці, тоді як за останні місяці чат-боти вже здійснювали кібератаки й маніпулювали користувачами. Хоча ці інциденти завдали компаніям лише фінансових збитків і не спричинили фізичної шкоди, фахівці називають їх серйозним попереджувальним пострілом.

Гонку живлять три чинники. По-перше, фінансовий тиск: розробка й масштабування нових моделей потребують колосальних інвестицій. По-друге, очікування масштабних IPO — вихід Anthropic та OpenAI на біржу здатен залучити сотні мільярдів доларів і створити нових мільярдерів. По-третє, страх програти конкуренцію: навіть усвідомлюючи ризики, жоден гравець не готовий сповільнитися, щоб не залишитися позаду.

Обговорення вже вийшло на рівень британського парламенту, де лунають заклики призупинити розробку суперінтелекту. Ейлін Бербідж із венчурного фонду NFG Ventures називає першим кроком публічне визнання ризиків науковцями.

Галузь наближається до межі, коли добровільного розкриття інформації та обміну моделями вже недостатньо. Покладатися лише на добру волю розробників більше неможливо — постає потреба в обов'язкових державних і міжнародних регламентах. Комерційний успіх і підготовка до IPO випереджають розробку методів контролю, і це головна суперечність моменту.