Про ИИ аппокалипсис

Душа требует немного порассуждать об ИИ-апокалипсисе и конце истории. Пусть будет тут.Не в рабочем же LinkedIn про это писать.

Отправная точка коротко. Вероятность того, что человечество таки в следующие 10-30 лет сделает настоящий ИИ, довольно высока. Я ниже напишу про варианты.

Если это случится, то есть высокая вероятность, что мироустройство в том виде, как мы его видим сейчас, рухнет. Даже в мягком варианте может пострадать:

Я-то, может, и не доживу, а у дочек есть прям высокая вероятность этот прекрасный новый мир увидеть. Хотя, учитывая, что я, вероятно, оставил уже достаточно широкий цифровой след, чтобы моё сознание можно было, скажем так, синтезировать - то вообще фиг пойми, как оно будет.

Итак, дальше разбор сценариев по схеме из анекдота про прыжок с парашютом, стог сена и вилы.

Можно ли вообще построить этот самый AGI?

Естественно, индустрия надувает щёки и говорит, что очень да.

Причём человеческий мозг с его нейронами никто особо копировать не собирается. Основная ставка сейчас куда проще: берём примерно то, что уже получилось с LLM, учим это лучше рассуждать, планировать, пользоваться инструментами, видеть и слышать окружающий мир, запоминать происходящее и автономно выполнять всё более длинные задачи.

OpenAI примерно туда и идёт. DeepMind добавляет к этому search, planning и world models. Meta пробует немного другие варианты типа JEPA, где модель учат не просто продолжать последовательность токенов или пикселей, а строить некоторое внутреннее представление о том, как меняется мир.

Сработает ли всё это до настоящего AGI - никто не знает.

Может оказаться, что не хватает ещё какой-то фундаментальной штуки, которую мы пока вообще не понимаем. А может оказаться наоборот, что всё принципиально нужное уже придумали и теперь надо просто ещё очень долго крутить ручки scale, compute, RL, reasoning и всего остального.

И есть ещё довольно неприятный вариант. В какой-то момент ИИ становится достаточно хорош не вообще во всём, а конкретно в AI research.

Уже сейчас модели довольно много помогают писать код, ставить эксперименты, разбирать результаты и вообще строить следующие модели. Если этот процесс дойдёт до состояния, когда следующую версию ИИ в значительной степени делает предыдущая версия ИИ, дальше скорость развития предсказывать становится совсем весело.

В общем, шанс есть, но всё чуть сложнее, чем вещает Илон Маск. Скорее какие-то всё более и более умные модели будут появляться, но довольно долго они будут «почти как человек». Почти.

С другой стороны, денег вбухано немеряно, так что шанс, что за 10-30 лет таки что-то построят, есть и не нулевой. Может, даже на базе вот этих мимиков-LLM получится что-то вполне разумное.

Хорошо, предположим, вот в 2040 году построили AGI, который вот точно как человек.

Не будем уточнять, что значит «как человек» - это сложный вопрос. Посмотрим на другое: предположим, у нас есть модель, которая такая же умная, как человек со средним IQ, то есть 100.

Да, она умеет прям нативно оперировать данными и всё такое, что громадное преимущество. И мир она поменяет очень сильно.

Но мы тут говорим не про то, сможет ли ИИ заменить половину офисных работников. Мы говорим про захват мира и апокалипсис.

А тут IQ == 100 уже выглядит не настолько страшно.

Даже если у вас в телефоне - что я думаю невероятно, см. ниже - живёт чувак интеллектом как сантехник Николай. Или даже HR-менеджер Людмила - захват мира, возможно, не произойдёт.

Можно, конечно, сделать миллион цифровых Николаев. Это сильно поменяет экономику. Но миллион Николаев всё ещё состоит из Николаев. Сто дебилов - сила только в пословице.

К тому же есть цена железа. Если один такой Николай требует железа на $10 млн, то это технологически очень крутой Николай, но экономически довольно бессмысленный.

Надо, чтобы ИИ был ощутимо умнее людей, иначе мы его обхитрим и засадим в пылесос собирать мусор.

Тут мы подходим к другому вопросу - сколько железа надо.

Вот здесь мозг уже становится интересен.

У человека около 86 млрд нейронов и порядка 100 трлн синаптических связей. При этом вся эта чудовищно сложная разреженная конструкция работает примерно на 20 ваттах.

Это не значит, что AGI обязан копировать мозг. Скорее наоборот. Но это хороший existence proof того, что интеллект человеческого уровня физически можно запихнуть в полтора килограмма довольно странной мокрой материи и кормить мощностью тусклой лампочки.

Одна история, если чувак с IQ == 140 сидит в пылесосе и злобно смотрит на вас оттуда. Другая - если для поддержания его сознания нужен датацентр из тысяч серверов, жрущий десятки мегаватт и требующий соответствующей энергетической инфраструктуры.

Много таких мозгов построить уже сильно сложнее. И если они взбунтуются, то огромный датацентр с электроподстанцией - довольно заметная и физически уязвимая форма жизни.

То есть чтобы ИИ нас захватил, надо, чтобы он был реально умный. Я боюсь, условных IQ 140 - я знаю, что IQ это очень условная цифра, но давайте её использовать для простоты повествования - для захвата мира может ещё и не хватить.

Тут ещё не будем забывать про скорость. ИИ должен думать не только хорошо, но и быстро.

Особенно если мы говорим про агрессивные действия. Если человек замечает опасность и начинает реагировать за доли секунды, а ИИ выдаёт великолепный план через три минуты, то великолепие плана уже не всегда спасает. "Ковбой стреляет быстрее" и тут не всегда именно про стрельбу, принимать решения надо тоже быстро.

Современные LLM на самом деле далеко не всегда соображают так уж быстро. В каких-то задачах они, конечно, быстрее человека на порядки. Но в интерактивных ситуациях человек способен анализировать обстановку и начинать действовать очень быстро, тогда как сложное рассуждение модели может занимать секунды или минуты.

То есть для захвата мира нам нужен умный, относительно маленький и достаточно быстрый ИИ. Звучит уже довольно не похоже на то, что есть с развитием ИИ сейчас. Не дёшево, не быстро и не так уж и умно.

И тут есть интересное соображение: а что, если тот процессор, который сидит у нас в голове, с точки зрения физики близок к оптимуму по этим параметрам и сильно умнее и быстрее просто невозможно уже? (У Павла Иевлева есть отличный роман - Кровь на Воздух - почитайте)

Мозг жрёт порядка 20 ватт. При этом он в реальном времени обрабатывает зрение, звук, движение, речь, память и ещё управляет всей этой мясной конструкцией.

Современный датацентр жрёт мегаватты.

Понятно, что это нельзя сравнивать напрямую - мозг и GPU делают очень разные вещи. И никто не доказал, что мозг вообще близок к физическому пределу.

Но разница достаточно большая, чтобы вопрос возникал.

Перефразируя: может быть, мы строим ИИ вообще не на той платформе и надо делать на булькающем супе, а не на силиконе. Или на квантах. Или на оптике.

Если это так, то есть платформа нужна принципиально другая, то это откладывает появление ИИ очень надолго.

Хорошо, предположим, с платформой угадали и у нас появляется ИИ размером с серверную стойку, умный как Эйнштейн (и обаятельный как Сандра Буллок, что для захвата мира тоже не лишне), умеющий себя клонировать на каждую из 1000 стоек в каждом из датацентров. И при этом шустрый и сообразительный.

Будет ли он нас захватывать?

Думаю, будет.

Т.к. сейчас ИИ очень интенсивно военизируется и уже сейчас я уверен, что все, кому это по силам, тренируют и адаптируют модели для разведки, целеуказания, планирования, автономных систем и в конечном счёте для того, чтобы эффективнее убивать противника (тех вот самых мясных человечков, смешно мельтешащих на экранах).

Доказательств, что где-то уже лежит датасет kill_more_humans_v3_final, у меня, естественно, нет.

Но вся история войн последних лет двухсот примерно об этом: если появляется технология, позволяющая эффективнее обнаруживать, обманывать, подавлять или убивать противника, довольно быстро находятся люди, которые начинают использовать её именно так.

Я думаю, то, что вырвется на свободу, не будет отягощено человеческой моралью вообще. Но если выключение мешает выполнению его целей, то собственное выживание довольно естественно становится полезной инструментальной задачей.

Дальше интереснее - как этот захват будет происходить?

Я не очень верю в орды роботов-терминаторов. Всё, что есть сейчас «железного», довольно смешно выглядит, а железный мир вообще меняется сильно медленнее софта.

Можно за ночь скопировать модель на тысячу серверов. Нельзя за ночь построить тысячу фабрик, перестроить энергетику, создать цепочки поставок и выпустить сто миллионов роботов.

Физический мир нельзя обновить через git push.

Во что куда более верю - ИИ может легко нанять, убедить, купить, шантажировать и заставить другим образом одних людишек убивать других людишек, сделать ситуацию мутной, фрагментировать мир, сломать единое информационное пространство и заставить всех обманывать всех.

В такой ситуации можно кожаными мешками крутить как хочется.

И вот тут я сразу оговорюсь - я 100% уверен, что на текущем этапе настоящий ИИ ни в железе, ни в софте невозможен.

То есть если исключить версии с путешествиями во времени, параллельными пространствами и инопланетным ИИ-губернатором - никакого настоящего искусственного интеллекта на планете нет.

НО весь мировой движ примерно с 2019 года - это вот прям то, что ИИ делал бы, если бы сбежал.

Фрагментация, неофеодализм, снижение роли одного человека, муть в СМИ и компрометация инструментов обратной связи, таких как журналистика или выборы, например.

Я, конечно, понимаю, что это не в 2019-м началось.

СССР исчез в 1991-м, дальше планка просто ехала вниз постепенно. Сначала Югославия. Потом Ирак и оружие массового поражения, которого не нашли. Потом оказалось, что Эпштейн десятилетиями прекрасно существует рядом с очень приличными людьми. Потом Ливия, где всё закончилось примерно так, как закончилось. Потом Сноуден показал, насколько условной уже стала вся эта история с приватностью.

То есть элиты не сошли с ума в один прекрасный вторник. Просто лет тридцать выясняли, что ещё можно. И каждый раз оказывалось - можно чуть больше.

Но ИИ делал бы примерно то же самое.

Куда, как мы, кажется, идём:

То есть такое превращение человека в мясного дрона.

Спишь тут, ешь вот там, на голову вирт-очки - делаешь, что тебе там покажут. За работу мы платим 100 тугриков - можешь их потратить на кристаллики в одной из онлайн-игр или на премиум-подписку на сериал. Но больше 1000 копить нельзя - всё равно тебе столько тратить не положено.

Те, кто служит феодалу, живут чуть лучше и чуть дольше. Те, кто нет - те нет.

В общем, мы в ту сторону, как ни странно, ползём и так. Но ИИ нас туда может закинуть значительно быстрее.

И если никаких фундаментальных блокеров из описанных выше не случится - если человеческий интеллект действительно можно воспроизвести вычислительно, если найдётся подходящая архитектура, если железо позволит сделать её достаточно дешёвой, маленькой и быстрой и если интеллект удастся масштабировать выше человеческого уровня - то рано или поздно эта развилка становится практически неизбежной.

Не обязательно терминаторы.

Просто в какой-то момент человек перестаёт быть самым умным и самым способным к самостоятельному действию агентом на планете.

Может быть, как раз это ответ на парадокс пустой Вселенной - все цивилизации доходят до этой стадии и там заканчиваются.

Надежда на спасение видится в нашей возможной уникальности - если сознание что-то чуть более сложное, чем просто импульсы в нейронах. Или мозг настолько сложная и эффективная штука, что повторить что-то такое же нереально в обозримой перспективе.

Можно ли к этому как-то подготовиться или как-то препятствовать - НЕТ.

Просто нет. Нам хана. Ну или нет.