Дилема в'язня у гонці ШІ: чому конкуренти Амодея підтримали заклик сповільнитися

Керівник Anthropic Даріо Амодей опублікував есе під назвою «We Must Pace the Frontier», у якому закликав «сповільнити темп, з яким ми нарощуємо можливості ШІ-моделей». Приводом стало те, що швидкість розробки цього літа стала «радикально вищою». Текст обсягом 3815 слів викликав реакцію, незвичну для індустрії, де суперництво між компаніями зазвичай доволі агресивне.

Сем Альтман (OpenAI, розробник ChatGPT) заявив, що «згоден з Даріо в тому, що нам треба стримувати темп розвитку технології і взяти на себе зобов'язання щодо доступу до моделей незалежних оцінювачів – це чудова ідея, і ми зробимо те саме». Ілон Маск (SpaceXAI, розробник Grok) обмежився фразою «Даріо має рацію». Деміс Гассабіс, співзасновник Google DeepMind (розробник Gemini), теж підтримав ініціативу: «Есе Даріо вказує на правильний шлях уперед. Деталі потребують опрацювання, але напрямок вірний для відповіді на цей критичний момент».

Згодом висловився й керівник Microsoft Сатья Наделла, чия компанія розробляє Copilot і MAI. Він сказав, що «вітає свідоме стримування темпу, яке потрібне для того, щоб узгодженість ШІ з людськими цілями (alignment) стала метою самого дизайну», а також підтримав ідею незалежних оцінювачів і ширші зусилля з розробки відповідних механізмів. Заяв від Meta AI чи Mistral не було, хоча керівник Meta Марк Цукерберг у серпневому есе «The Future Is for Everyone» виступав проти того, щоб кілька компаній на кшталт Anthropic вирішували за всіх.

Попри солідарність, ситуація описується класичною дилемою в'язня. У ній двоє затриманих не можуть домовитися: якщо обидва мовчать, обидва отримують мінімальне покарання; якщо обидва зізнаються, покарання суворіше; якщо зізнається лише один, він виходить на волю, а другий отримує максимальний термін. Зрада вигідна за будь-якого вибору партнера, тож єдиною стійкою рівновагою стає взаємна зрада, хоч вона й гірша для обох, ніж взаємна співпраця.

Перенесімо цю модель на лабораторії. Якщо всі, включно з конкурентами OpenAI, SpaceXAI і Google DeepMind, погодяться сповільнитися, виграє людство. До того ж сповільнення заморожує відрив, який Anthropic уже має, адже наздогнати того, хто зупинився, можна лише рухаючись швидше — а саме це домовленість і забороняє. Якщо ж хтось не дотримається обіцянки, ті, хто послухався, відстануть, і раціональною стратегією самої Anthropic стане не слідувати власній пораді. Рівновага за Нешем тут одна: усі біжать далі.

Над лабораторіями ту саму партію грають держави. Навіть якщо всі американські компанії домовляться, китайські можуть не піти за ними. Амодей визнав Китай «найважчою дилемою» своєї пропозиції, написавши: «якщо ми сильно стримаємо свої можливості, вірячи, що Китай зробить те саме, а потім Китай defects (зрадить), їх рівень ШІ може бути настільки потужним, що така зрада приведе до їхнього геополітичного домінування». Серед китайських гравців згадуються Moonshot AI (Kimi), Zhipu AI (GLM), Alibaba (Qwen), High-Flyer (DeepSeek) і MiniMax.

Теорія ігор пропонує три виходи. Перший — повторюваність гри: коли ходи стають відомими, зрада перестає бути безкарною. Другий — прозорість, за якої наміри гравців видимі або передбачувані. Третій — зовнішній арбітр із правом карати, що змінює структуру виграшів. Пропозиція Амодея містить усі три: незалежні оцінювачі роблять обман видимим, координація перетворює одноразову гру на повторювану (щоправда, вона може потребувати антимонопольних винятків у США), а регулювання додає арбітра, який, за його словами, має охопити «всі провідні американські ШІ-компанії, навіть тих, хто не бажає співпрацювати добровільно».

Схожу ідею ще в липні висловив Гассабіс в есе «A Framework for Frontier AI», запропонувавши створити в США орган стандартів для передових моделей за моделлю FINRA — публічно-приватне партнерство під федеральним наглядом, фінансоване переважно індустрією. Серед його повноважень він назвав координацію сповільнення розробки, «якщо серйозність ситуації цього вимагатиме». Спочатку лабораторії мали б добровільно передавати моделі на перевірку за 30 днів до релізу, а згодом це стало б обов'язковим для виходу на американський ринок, зокрема для іноземних компаній.

Ідея регулятора старша за ці есе. У липні понад тисяча співробітників OpenAI, Anthropic, Google DeepMind і Meta підписали на pacingthefrontier.com звернення до уряду США підтримати міжнародні зусилля зі створення інструментів свідомого стримування. Відкритим лишалося питання, чи підуть за підписами зобов'язання компаній.

Відповідь президента Трампа в неділю була короткою: «хто виграє ШІ, той виграє». Тобто додаткове регулювання, на його думку, не потрібне, бо сповільнення тішить лише Китай. Стюарт Рассел з університету Берклі пожартував із цього приводу: лабораторії кажуть уряду, що з імовірністю 10% можуть убити всіх людей на Землі до 2030 року й просять їх зупинити, а уряд питає, чого ще бракує для швидшого розвитку. Китай, зі свого боку, теж не підтримав пропозиції щодо уповільнення: у Пекіні вважають прогрес ШІ глобальною тенденцією, яку неможливо зупинити, і пропонують посилювати міжнародну взаємодію.

Питання лишається відкритим: чи зможуть найрозумніші люди планети, які створюють найпроривнішу технологію сучасності, розв'язати дилему в'язня, сформульовану в RAND ще 1950 року.