ШІ-компанії змагаються у створенні ШІ-систем, розумніших за людей у всьому. В AI 2027 ми передбачили, що це призведе або до вимирання, або до незворотної концентрації влади.1
План А — це наше позитивне бачення того, що має статися натомість.
У цьому сценарії людство відкладає створення суперінтелекту до 2040 року, робить усі дослідження ШІ публічними, дозволяє десяткам компаній по всьому світу наздогнати передовий рівень і свідомо входить у режим взаємно гарантованого знищення обчислювальних потужностей.
План А — це наше позитивне бачення того, як людство може уникнути екзистенційної катастрофи, спричиненої ШІ, і досягти квітучого майбутнього. Він ґрунтується на розмовах з експертами провідних американських передових ШІ-компаній, безпосередньому досвіді роботи в OpenAI, штабних іграх та обговореннях з політиками, експертами з національної безпеки й лідерами ШІ-політики. Ми рекомендуємо міжнародну угоду, щоб уникнути небезпечної гонки до суперінтелекту. Угода передбачає повну дослідницьку прозорість для AI R&D, що дозволяє країнам світу розуміти, що відбувається, і забезпечувати дотримання запобіжників. У результаті багато компаній у багатьох країнах разом повільно й безпечно масштабуються до суперінтелекту, замість того щоб таємно змагатися одна з одною.
План А — це насамперед рекомендація, а не прогноз. Цей сценарій — не наше найкраще припущення про те, яким насправді виявиться майбутнє. Радше це інструмент для донесення і стрес-тестування наших політичних рекомендацій. Хоча впровадження Плану А — це рекомендація, а не те, чого ми насправді очікуємо, зображені подальші наслідки — це прогнози.2
У цьому сценарії AI 2040 План А впроваджується успішно, хоча й недосконало і лише в останній момент.
Ми протиставляємо План А чотирьом альтернативним планам (B, C, D і S), які відповідають основним способам, у які США могли б відреагувати (або не відреагувати) на виклики суперінтелекту.3
ШІ-компанії, ймовірно, досягнуть своєї заявленої мети — створити ШІ-системи, розумніші за людину, — протягом наступних 1–10 років.
Індустрія переконала себе, що контроль над суперінтелектуальним ШІ можна з’ясувати на ходу, і тому не має бодай віддалено адекватного плану. Ми вважаємо цю ситуацію жахливою: вона запросто може всіх нас убити.4 Ми не очікуємо, що той, хто «виграє гонку», матиме великий відрив, і не очікуємо, що він односторонньо сповільниться, щоб зменшити екзистенційний ризик.5 Якщо ця гонка триватиме,6 ми не очікуємо, що люди збережуть реальний контроль у міру того, як їхні ШІ ставатимуть суперінтелектуальними.7
Ба більше, навіть якщо ШІ-компанії якимось чином узгодять свої ШІ, результатом стане безпрецедентна концентрація влади — тобто ситуація, коли крихітна група людей, а можливо, й одна-єдина особа, впродовж кількох місяців фактично контролюватиме єдину у світі армію суперінтелектів, і ці суперінтелекти пропонуватимуть їй різні варіанти подальших дій, частина з яких де-факто означатиме захоплення влади над світом.8
Наскільки ми можемо судити, CEO OpenAI, Anthropic, xAI та Google DeepMind це розуміють і все одно продовжують — можливо, тому що вважають себе меншим злом і думають, що використають свою величезну владу відповідально, на відміну від Сі Цзіньпіна чи CEO-суперників.9
Хоча ми згодні, що загалом правильно обирати менше зло, ми не вважаємо, що варто просувати стратегію з настільки лячно високим шансом призвести до вимирання людства чи глобальної диктатури. Натомість ми хочемо виступати за те, що є справді добрим. Якщо так робитиме достатньо людей, це може статися.
Тож ми написали сценарій, що окреслює такий можливий світ.
«Плани нічого не варті, але планування — це все». — Дуайт Д. Ейзенхауер
Ми вважаємо, що більшість пропозицій ШІ-політики розсипаються під сценарною перевіркою — тобто якщо спробувати виписати детальний і правдоподібний сценарій, у якому ця пропозиція досягає успіху, зробити це виявиться складно, і ви зрозумієте, що план має менше шансів спрацювати, ніж здавалося, або більше неприємних побічних ефектів, ніж визнавали його прихильники.
Можливо, саме тому сценарна перевірка така рідкісна в ШІ-політиці. Кожен хоче казати, що його улюблені політики матимуть чудові наслідки, а політики суперників — жахливі. Сценарна перевірка власних улюблених політик може виявити незручні проблеми з ними; тим часом сценарна перевірка політик суперника — це багато роботи заради мізерного риторичного зиску.10
Ми вважаємо, що дискурс поліпшився б, якби більше пропозицій ШІ-політики проходили сценарну перевірку. Тож ми починаємо з власної — хоч це й відкриває нас для критики. Сподіваємося, критики судитимуть нас на тлі наявного state-of-the-art серед планів проходження ШІ-переходу (якщо зможуть такий знайти), а не на тлі туманної, але приємної фантазії, де нікому не доводиться робити важких виборів, і все, мабуть, буде добре.
А як щодо колосальної складності передбачити, який ефект наша політика матиме у світі, що наближається до надлюдських ШІ? Це як намагатися передбачити, як найкраще вести Третю світову війну, тільки з іще більшим відривом від минулих кейсів. Проте спробувати все одно цінно — так само, як американським військовим цінно до найдрібніших деталей програвати тайванські сценарії. Є й інші прецеденти: розвідувальні агентства, кліматичні органи та офіси готовності до пандемій — усі вони спираються на різні види сценарного планування.
План А — наша амбітна пропозиція щодо того, що робити, і ми хотіли б, щоб щось подібне впровадили якнайшвидше, бо ми не впевнені, скільки часу залишилося.11 Але щоб написати конкретний сценарій, нам потрібен конкретний таймлайн.
Таймлайн цього сценарію такий:
У 2029 році США та Китай домовляються уникнути безрозсудної гонки до суперінтелекту.
У 2030-му ми мали б повністю автоматизувати AI R&D, що вело б до суперінтелекту до кінця року. Завдяки Угоді ми цього уникаємо.
Між 2030 і 2035 роками ми масштабуємося в межах людського діапазону — до ШІ-систем, приблизно настільки ж здібних, як топові людські експерти.
У 2035-му ми ставимо паузу на рівні ШІ топового людського експерта, щоб зберегти людський контроль.
У 2040-му ми знімаємо паузу й масштабуємося до суперінтелекту.12 (Звідси й назва: AI 2040)
У нашому попередньому сценарії, AI 2027, ШІ повністю автоматизував процес створення розумніших ШІ у 2027 році, що призвело до вибуху інтелекту та суперінтелекту в межах року. Дві відмінності цього сценарію: (1) дефолтний таймлайн тепер — 2030 рік, і (2) завдяки діям у сфері врядування загалом надлюдські ШІ вперше з’являються у 2040-му.
Ми змінили дефолтний таймлайн, бо хочемо, щоб наш портфель сценаріїв відображав нашу невизначеність щодо таймлайнів ШІ. Рік у назві AI 2027 обрали тому, що на момент, коли ми почали писати, Daniel вважав: є приблизно 50% шансів, що все піде так швидко або швидше.13 На момент, коли ми почали писати План А, відповідним роком для Thomas був 2030-й. Daniel наразі вважає, що все, ймовірно, піде дещо швидше, ніж зображено в цьому сценарії; більше про погляди нашої команди на таймлайни можна прочитати тут і тут.
Ми змінили дії у сфері врядування, бо цей сценарій — насамперед рекомендація, а не прогноз. Проводити вибух інтелекту на повній швидкості — дико безрозсудно, і це концентрує владу до крайньої міри.
В Америці тепер дві робочі сили. Перша — це люди, їх 165 мільйонів. Друга — ШІ-агенти: мільйони копій, що запускаються і вимикаються щогодини, працюючи цілодобово на надлюдських швидкостях.
Більшість їхньої роботи — слоп. Але достатня її частина добра — настільки, що люди платять десять мільярдів доларів на місяць за ШІ, здатні, принаймні в теорії, робити на комп’ютері будь-що з того, що може працівник.
Є одна робота, яку ШІ-компанії хочуть автоматизувати понад усі інші, — їхня власна. Поки що їм це не вдалося; жодного рекурсивного самовдосконалення наразі немає.14 Але, схоже, вони наближаються — і затягують драбину за собою: найсильніші ШІ для кодингу відмовляються допомагати конкурентам з AI R&D.15 Навіть коли найоптимістичніші співробітники визнають, що все триває трохи довше, ніж планувалося, скептики помічають, що їхні звичні відмахування починають звучати порожньо. Чому саме ШІ ніколи не зможе виконувати мою роботу? Який там, ще раз, бар’єр?
Конгрес починає звертати більше уваги. Про ШІ там чують уже давно: дата-центри споживають забагато води,16 чат-боти підштовхують до самогубства, Mythos зламує системи АНБ — і, звісно, лобісти технологічної індустрії застерігають, що найменший натяк на регулювання змусить Америку миттєво програти гонку Китаю і провести решту історії як держава-данник КПК.17
Тепер вони роблять крок назад і питають: куди ми з цим ідемо? Яким буде світ через п’ять, десять чи п’ятнадцять років? Чи будуть іще робочі місця? А що, як ні?
Одне питання тисне на них особливо сильно: Хто контролюватиме всі ці ШІ?
Конгрес доходить важливої частини відповіді: Мабуть, не ми.18
Вони проводять серію напружених слухань щодо ШІ. Читають імейли OpenAI 2016 року, де обговорюється, що OpenAI було засновано, аби не дати Demis Hassabis стати диктатором.19 Але хто не дає стати диктатором Сему чи Ілону? Наявні відповіді Конгрес не задовольняють.
Результатом цього пробудження стає AI Transparency Act 2027 року — всеосяжний закон, який робить багато різного, щось добре, а щось погане, але фундаментально ситуації не змінює.20
Наша головна рекомендація — якнайшвидше почати переговори про щось на кшталт Плану А. Але в цьому сценарії ми зображуємо, як План А реалізується недосконало й лише в останню мить. Тож ось список менш амбітних ідей, які все одно допомагають.
Виборчий цикл 2028 року, як завжди, розпечений. ШІ — найбільша тема. Дата-центри, що зараз будуються, коштують удвічі більше за весь військовий бюджет США.23
Більшість офісних професій переживають дизрапшн, подібний до того, що спіткав розробку ПЗ у 2026-му; така робота тепер значною мірою полягає в керуванні ШІ-агентами. ШІ-компанії поставили процес навчання на індустріальні рейки: керівники кажуть «цього року заходимо в [професію]» — і компанія проводить інтерв’ю з фахівцями, купує дані, створює навчальні середовища тощо, поки їхні ШІ не наберуть обертів. Далі ШІ швидко вдосконалюються в міру того, як їх ширше використовують у полі й вони накопичують більше даних з реального світу.
Інші країни починають лякатися і злитися. Схоже, жменька американських і китайських компаній ось-ось автоматизує всі офісні робочі місця. Влада концентрується у США — зокрема в руках Президента та кількох CEO технологічних компаній.
Експерти з ШІ попереджають, що вибух інтелекту вже близько. Прискорюючи дослідження ШІ, ШІ-системи ставатимуть ще компетентнішими, прискорюючи дослідження ще швидше, що робитиме їх ще більш компетентними, і так далі. Є складна динаміка з вузькими місцями та апаратними обмеженнями, що визначає, наскільки швидко йде цей процес і де він завершується, але, схоже, він може піти дуже швидко й завершитися десь дуже далеко.
На дефолтному шляху вже в наступну президентську каденцію з’являться ШІ, що далеко перевершують людський рівень, — створені повністю ШІ, які самі створені повністю іншими ШІ, без жодної людини в циклі вже кілька поколінь поспіль. Чи будуть ті ШІ слухняними, узгодженими тощо? Чому? І якщо так — хто їх контролюватиме? Як саме все це має добре закінчитися?
Поставивши людство на цей шлях, ШІ-компанії вважають його прийнятним. Але більшість людей — ні. Годі вже про його спадщину — Президент починає думати про те, що буде з ним самим після того, як він піде з посади, а світ трансформується.24 Обох кандидатів у президенти постійно питають, що вони робитимуть із ШІ, і під час кампанії ті випробовують дедалі драматичніші ідеї. Дискурс кидається туди-сюди між усіма варіантами, показаними нижче, і не тільки.
Зрештою Президент і його протеже сходяться на одному плані; кандидат від опозиції — на іншому. А тоді настає день виборів.