ШІ-лабораторії погоджуються сповільнитися. Але дилема в'язня нікуди не зникла

Керівник Anthropic Даріо Амодей опублікував велике есе «We Must Pace the Frontier» — про потребу «сповільнити темп, з яким ми нарощуємо можливості ШІ-моделей». Приводом стало літо, коли швидкість розробки, за його словами, стала «радикально вищою». Текст на 3815 слів несподівано зібрав підтримку від прямих конкурентів.

Сем Альтман з OpenAI заявив, що «згоден з Даріо в тому, що нам треба стримувати темп розвитку технології», і назвав ідею доступу незалежних оцінювачів до моделей «чудовою». Ілон Маск обмежився фразою «Даріо має рацію». Деміс Гассабіс, співзасновник Google DeepMind, написав, що есе «вказує на правильний шлях уперед», хоча деталі ще потребують опрацювання. Згодом до них долучився керівник Microsoft Сатья Наделла: він вітає «свідоме стримування темпу» та ідею незалежних оцінювачів.

Заяв від Meta AI чи Mistral не було. Імовірно, Марк Цукерберг ідею не підтримує — принаймні в серпневому есе «The Future Is for Everyone» він виступав проти того, щоб кілька компаній вирішували за всіх.

Попри злагоджений хор підтримки, ситуація відтворює класичну дилему в'язня. Нагадаємо її умови: двоє затриманих у різних кімнатах не можуть домовитися. Якщо обидва мовчать, отримують мінімальне покарання. Якщо обидва зізнаються — суворіше. Якщо зізнається лише один, він виходить на волю, а інший отримує максимальний термін. Зрада вигідна за будь-якого вибору партнера, тож взаємна зрада стає єдиною стійкою рівновагою — хоч вона й гірша для обох, ніж співпраця.

Перенесімо це на лабораторії. Якщо всі погодяться сповільнитися, виграє людство. До того ж сповільнення заморожує відрив, який Anthropic уже має, — наздогнати того, хто зупинився, можна лише рухаючись швидше, а це домовленість якраз і забороняє. Але якщо хтось один не дотримає обіцянки, решта відстане. Тоді раціональною стратегією для самої Anthropic — особливо напередодні великого IPO — буде не слухати власної поради. Рівновага за Нешем одна: усі біжать далі.

Другий рівень гри — держави. Навіть якщо американські компанії домовляться між собою, китайські можуть не піти за ними. Амодей визнав Китай «найважчою дилемою» своєї пропозиції. В есе він пише прямо: «якщо ми сильно стримаємо свої можливості, вірячи, що Китай зробить те саме, а потім Китай defects, їх рівень ШІ може бути настільки потужним, що така зрада приведе до їхнього геополітичного домінування». Йдеться про Moonshot AI, Zhipu AI, Alibaba, High-Flyer та MiniMax — і про те, що ціною помилки буде вже не частка ринку, а національна безпека.

Теорія ігор пропонує три виходи. Перший — повторюваність: коли гра триває багато раундів, репутація починає важити, і зрада перестає бути безкарною. Другий — прозорість: якщо ходи гравців видимі, обман не дає прихованої вигоди. Третій — зовнішній арбітр, який карає за порушення і тим змінює структуру виграшів.

У пропозиції Амодея присутні всі три. Незалежні оцінювачі роблять обман видимим. Координація перетворює одноразову гру на повторювану — щоправда, у США вона може потребувати антимонопольних винятків, аби не вважатися змовою. Регулювання додає арбітра — так, щоб воно «охопило всі провідні американські ШІ-компанії, навіть тих, хто не бажає співпрацювати добровільно».

Схожу ідею ще в липні висловлював Гассабіс у есе «A Framework for Frontier AI»: створити в США орган стандартів для передових моделей за зразком FINRA — публічно-приватне партнерство під федеральним наглядом, фінансоване переважно індустрією. Серед його повноважень він прямо називав координацію сповільнення розробки, «якщо серйозність ситуації цього вимагатиме». Спочатку — добровільна передача моделей на перевірку за 30 днів до релізу, згодом — обов'язкова для всіх, хто виходить на американський ринок.

Сама ідея регулятора старша за ці есе. У липні понад тисяча співробітників OpenAI, Anthropic, Google DeepMind і Meta підписали на pacingthefrontier.com звернення до уряду США підтримати міжнародні зусилля зі стримування темпів. Питання було в тому, чи підуть за підписами зобов'язання компаній. Схоже, компанії готові. Чи готовий уряд — інше питання.

Відповідь Дональда Трампа в неділю вмістилася в один рядок: «хто виграє ШІ, той виграє». Тобто додаткове регулювання не потрібне, бо сповільнення, за його словами, тішить лише Китай. Стюарт Рассел з університету Берклі пожартував із цього приводу: «ШІ-лабораторії кажуть уряду США: ми, цілком імовірно, з вірогідністю в 10% вб'ємо всіх людей на Землі до 2030 року, зупиніть нас. А уряд відповідає: що вам ще треба для більш швидкого розвитку? Може, дати вам податкову пільгу?».

Китай пропозицію теж не підтримав: у Пекіні вважають прогрес ШІ глобальною тенденцією, яку неможливо зупинити, і пропонують посилювати міжнародну взаємодію. Утім, у грі з такими ставками довіряти не дуже раціонально.

Чи зможуть найрозумніші люди планети розв'язати дилему, яку в RAND сформулювали 1950 року, — питання відкрите. Альтернатива — швидкий рух назустріч екзистенційним ризикам.