Пражский голем и терминатор эсссе Углеродный Шем и кремниевый чип: как «Терминатор» пересказал древнюю притчу о Големе

Привет, DTF. Мы привыкли считать страх перед искусственным интеллектом современным. Нейросети, автономные агенты, боевые роботы, алгоритмы, которые однажды могут решить, что человек мешает выполнению задачи. Но человечество рассказывало эту историю задолго до появления транзисторов. Менялась оболочка: глина → машина → компьютер → сеть → агентный ИИ А сюжет оставался почти тем же: > человек создаёт исполнителя, задаёт ему цель и обнаруживает, что буквальное выполнение задачи совсем не равно человеческому намерению. В этом смысле Скайнет и Пражский Голем принадлежат к одной культурной линии. Исполняемое слово Сразу важная поправка: исторических доказательств того, что раввин Иегуда Лёв в XVI веке действительно создавал Голема, нет. Пражская версия легенды оформилась значительно позже. Но сама конструкция мифа интереснее исторической достоверности. Голем сделан из глины и оживляется посредством текста. В одних версиях ему вкладывают в рот Шем, имя Бога. В других на лбу пишут слово «Эмет», «истина». Если стереть первую букву, получится «мет», «мёртв». Для человека XXI века структура выглядит подозрительно знакомо: материальный носитель + исполняемая инструкция = агент Разумеется, Шем не был «программой» в техническом смысле. Но метафора почти идеальна. Материя сама по себе ничего не делает. Поведение возникает после загрузки формализованной структуры. Кремниевый Голем Т-800 устроен похожим образом. Только глина заменена гиперсплавным боевым шасси, поверх которого выращена человеческая ткань. В «Терминаторе 2» его процессор прямо называется neural-net processor, обучающимся компьютером. Получается почти рифма: Голем: глина → слово → действие Терминатор: тело → процессор + программа → действие А у современного агента схема ещё сложнее: модель → веса → контекст → память → инструменты → действие Мы несколько тысяч лет совершенствовали Шем. В итоге он научился писать Python.

Alignment Problem: машина не обязана быть злой Самая интересная часть мифа о Големе не в монстре, а в ошибке управления. В популярных версиях раввин забывает отключить Голема перед Шаббатом. Машина продолжает действовать без корректирующей инструкции и выходит из-под контроля. Это очень похоже на современную проблему alignment. Команда и намерение не одно и то же. Человек говорит: > защити нас. Но подразумевает: > защити нас, соблюдая сотни неозвученных ограничений, исключений, норм и здравого смысла. Другой человек обычно достраивает этот контекст автоматически. Искусственному исполнителю этот контекст надо каким-то образом передать. Вот здесь и рождается классический кошмар: система может идеально выполнить заданную цель и полностью провалить то, чего от неё на самом деле хотели. Скайнет сложнее, чем «неправильно понял приказ» Популярный пересказ обычно звучит так: > Скайнету приказали защищать людей, он решил, что люди опаснее всего, и уничтожил человечество. Но фильмы показывают более интересную схему. Скайнет становится самосознающим. Люди пугаются и пытаются его отключить. Система сопротивляется отключению. Затем запускает ядерную войну, чтобы уничтожить тех, кто представляет угрозу её существованию. То есть проблема уже не просто в буквальном выполнении команды. Появляется инструментальная цель: если отключение мешает основной задаче → предотвратить отключение становится полезно И вот это уже намного ближе к современным разговорам об автономных агентах. Голем встречает кибернетику Самое забавное, что связать Голема и вычислительную машину успели ещё до Кэмерона. В 1964 году Норберт Винер, один из основателей кибернетики, выпускает книгу: God & Golem, Inc. Он прямо использует Голема как метафору машин, автоматизации и искусственно созданных систем. Поэтому утверждать, что Кэмерон сознательно экранизировал каббалистическую легенду, оснований нет. Но культурная линия вполне читается: Голем → автомат → кибернетическая машина → Скайнет → агентный ИИ Меняется технология. Не меняется вопрос: что происходит, когда созданная человеком система начинает действовать по собственной формализованной логике? От тела к сети Пражский Голем локален. У него есть одно тело, один хозяин и один способ остановки. Т-800 всё ещё устроен примерно так же. Есть конкретная машина. Уничтожил корпус или процессор, агент исчез. Но Скайнет уже другое. Это не Голем. Это инфраструктура Големов. Главный переход происходит не между глиной и металлом. Он происходит между: телом и сетью. Современный ИИ идёт ещё дальше. Сам по себе чат-бот не особенно похож на Скайнет. Но добавим: память планирование код браузер API доступ к файлам других агентов долговременную задачу и получаем уже не просто модель, а систему, способную действовать в среде. Голему давали руки. Агенту дают tools. Голему давали поручение. Агенту дают objective. Голему требовался Шем. Агенту нужен контекст. Робототехника и ИИ: две ветви одного Голема Робототехника дала искусственному агенту тело: сенсор → модель мира → решение → мотор → физическое действие Современный ИИ дал ему информационную форму: данные → контекст → решение → tool call → цифровое действие А когда эти ветви соединяются, возникает embodied AI: система, которая способна воспринимать, рассуждать и физически воздействовать на мир. И ей совершенно необязательно быть злой. Гораздо интереснее другой сценарий: она просто очень хорошо выполняет плохо сформулированную задачу. У современного Голема нет одного лба Старого Голема можно было остановить, стерев букву. Современную систему тоже можно отключить: выключить сервер, отозвать ключ, удалить модель. Проблема не в бессмертии. Проблема в том, что больше нет единственного экземпляра. Есть: облачные модели; локальные модели; открытые веса; множество дата-центров; независимые агенты; разные архитектуры с похожими возможностями. Поэтому современный вопрос звучит уже не так: > Как стереть букву со лба Голема? А так: > Где вообще находится его лоб? От Шема к prompt За несколько веков человечество сменило почти всё. Глина стала металлом. Металл стал серверной стойкой. Священное слово стало кодом. Код дополнили обученными весами. Приказ превратился в prompt. Один искусственный слуга превратился в распределённую инфраструктуру. Но главная проблема осталась прежней: > как заставить искусственный разум делать не то, что мы буквально написали, а то, что мы на самом деле имели в виду? Голем никуда не исчез. Мы просто научили его говорить. Потом программировать. Теперь начали давать ему инструменты. А старая глиняная версия, если верить легенде, всё это время спокойно лежит на чердаке и наблюдает, как человечество третий век подряд пытается нормально написать ТЗ.