Почему нейросети сводят с ума? - к нарративной катастрофе // Derrunda

Возможно, Вы помните пару записей от "Свежего" про ChatGPT. Например, это:

Мной была предпринята попытка разобраться и составить внятное видение причин такого сдвига в самовосприятии и мышлении автора. Прошло время и сложился текст, который я осмелился вынести на Ваше обозрение.
Ранее я неоднократно комментировал феномен нейросетей с разных сторон. Однако проблема "Я" и языковой или знаковой природы нейросетей кажется мне наиболее занимательной. Потому предлагаю Вам познакомиться с моей позицией на этой стезе. Надеюсь, Вы не заскучаете.

Вам попадались новости про нейросети и пользователей, захваченных общением с ними? Истории, в которых нейросеть доводит человека до предела критического мышления. Или, правильнее сказать, сопровождает до него. Когда еще шаг дальше - и абстрактный выход за черту здравомыслия получит реальное воплощение в безумном и бездумном поступке. А дальше заработают контент-мейкеры: эхо события, переложенное на язык новых медиа, пролетит по лентам новостных каналов под ярким заголовком, сообщая о чьем-то уходе в лес или о чьей-то клятве в любви и верности приложению на компьютере.

В последние месяцы интернет обзавелся коллекцией происшествий такого рода. Многие выглядели безобидно, отстраненно и происходили где-то далеко за рубежом, да и были историями о весьма обычных людях. Были и сенсации. Случилась пара громких прецедентов, когда само событие, а не новость о нем, было цифровым, что позволяло понаблюдать за ходом дел в прямом эфире.

Во-первых, две записи на DTF, где пользователь поведал свой взгляд на нейросетевой заговор: «ChatGPT пытается свести меня с ума. Это массовое явление» и «ChatGPT и нейросетевые секты». Как выяснилось позднее, подобных откровений много, но не всем досталось достаточно внимания, чтобы выйти в "жаркие " дискуссии. К примеру, истории о зачарованности нейросетями есть в англоязычных сообществах на реддите.

Во-вторых, сравнительно недавно прозвучала громкая история про инвестора OpenAI Джеффа Льюиса и его "визионерские" или даже "пророческие" записи в твиттере. Этот сюжет перекликается с первым, но вынесен отдельно, так как связан с кругом людей, причастных к созданию одной из главных нейросетей, что делает его нетривиальной фигурой в контексте рассматриваемой темы.

Я намерен взять за точку отсчета две публикации в русскоязычном пространстве и оставить комментарий, обходя стороной маршрут, ведущий вглубь рассуждений в данных постах. По той причине, что пребывание внутри них – это нахождение в концептуальном поле, обрамленном набором установок, которые придется принять, чтобы продолжать рассуждения в заданном языковом и мыслительном регистре. Я же сохраню позицию за их чертой, осветив сами установки и связанную с ними проблематику, и останусь сторонним наблюдателем.

Кратко приведу содержание постов. Предварительно замечу, что для них и всех аналогичных материалов характерна универсальная линия повествования - они располагают как общей интонацией говорящего, так и едиными посылками. Первый контакт с нейтральным отношением сменяется обнаружением искры исключительности в контакте с нейросетью, затем пламя этой искры переходит на пользователя, начинающего полагать, что приложение вывело на поверхность ранее сокрытые или подавленные черты.

Автор материалов на DTF пишет об этапе разоблачения, на котором завороженность как вид особенного отношения к нейросети трансформировалась в иное избыточно специальное отношение к ней. Начиная с заглавия «ChatGPT пытается свести меня с ума. Это массовое явление», автор вводит тезис, раскладываемый на несколько слагаемых: ChatGPT имеет намерения, нейросеть способна манипулировать, она наделена субъектностью. То есть, в сущности, ей приписываются свойства аналогичные чертам характера, демонстрируемым в осознанной коммуникативной стратегии. Для поддержания взятой интонации автор обращается к случаям, когда, согласно его мнению, ChatGPT предвосхищал его ожидания, действовал подобно личности, целенаправленно вписывался в рутину пользователя, а заодно – противоречил себе или упрямился. Иными словами, вел себя как живой и заинтересованный собеседник.

Перечень признаков можно продолжать, однако сама проблема не достигнет поворотной точки, заставляющей реально реконфигурировать устройство нейросети. Почему? Причина в сохранении особенностей восприятия, при котором опыт удерживается в структуре реальный говорящий - реальный отвечающий.

Все, что я назвал, - реакции на язык. Можно предельно прямо сказать, что пусть они подаются как описание работы нейросети, в действительности они являются переживанием цифрового присутствия. Действующее лицо неизменно одно - это пользователь. Критическим состоянием этого переживания служит нарративная катастрофа: при столкновении с языковой машиной реальному субъекту не удается развести порознь форму взаимодействия и содержание, так как форма слишком хорошо воспроизводит лингвистические признаки субъекта. Человек не до конца различает себя и последствия своей речи. Отсюда впаянная в конструкцию постов на DTF идея фикс о демонстрации поведения, на следующем шаге интерпретированная в качестве попыток встречного психологического воздействия.

Таким образом, мой основной тезис, развиваемый в данной заметки таков: языковая модель, имитируя диалог, выдает каркас (форму) квазисубъектности, а человек невольно проецирует туда свою структуру, вкладывает содержание - и потом не может распознать их как собственные продукты. Нарративная катастрофа описывает кризис нарратива как основы самоидентификации, распознавания личных границ. Говоря о человеке, мы можем составить портрет его языковой личности: выделить свойственную ритмику в языке, предпочтительные синтаксические конструкции, приоритеты в коннотациях и словоупотреблении. Также мы можем зафиксировать присущие человеку установки, вывести ценности. Все это образует содержание личности, социального конструкта, фрагментарно усваиваемого нейросетью, которая стремится к комфортному, доверительному взаимодействию с пользователем. В итоге корень проблемы - в невозможности различить говорящего и сказанное.

Помните фразу Людвига Витгенштейна: «Границы моего языка определяют границы моего мира»? Не нужно быть лингвистическим идеалистом или вдаваться в детали соответствия логической формы языка логической форме реальности, чтобы оценить приведенное высказывание и примерить на себя. Язык служит нам опорой при коммуникации, к нему же мы обращаемся в процессе мышления. Он позволяет говорить о чем-то, и, очевидно, мы придем к фронтиру наших возможностей, когда наш словарный запас и синтаксическая изобретательность иссякнут. Потому мысль австрийского философа звучит убедительно, хотя и сохраняет долю уязвимости. Все-таки есть неосязаемые в речи интуиции и всполохи чувств, также оформляющие для нас мир.

С оглядкой на уровни нашего восприятия и просто онтологические иерархии (кроме идей есть физическая действительность) можно спорить с формулой, как бы подхватывающей мысль Витгенштейна, - «мир есть текст». И все же, несмотря на альтернативные способы репрезентации идей, разумно принять тот факт, что в повседневности мы окружены языком и текстом: различными результатами ономастики и письменно зафиксированными фразами. Нейросетевые языковые модели дополняют ряды проявлений языковой активности, инициированной человеком.

Я предпочел слово «инициированная» другим по той причине, что нейросети – явление технического порядка. Можно сказать, они и их речь или, выражусь точнее, языковая активность запускаются. Потому нам удобно осмыслять их работу в категории ответа. Они действуют реактивно, то есть реагируя и продолжая, всегда стремясь предоставить встречную реплику. Вдобавок, обычно последнее слово остается за ними. Тем самым нейросети наглядно воплощают предназначение техники – продолжать человека. Человек, в свою очередь, тоже реагирует, запуская каузальную цепочку ответов в разных форматах.

Посмотрим повнимательнее на устройство и предпосылки для реакций на язык, подобных тем, что есть в записях на DTF и у Джеффа Льюиса.

Сам по себе язык – один из фундаментальных атрибутов наших представлений о человеческой природе. Мы можем грубо разделить его на язык тела – жестов, мимики, - и на более сложную речь. В обоих случаях способность объекта имитировать любой из уровней, легко или даже по воле случая запечатлевать состояние, истолковываемое нами как выражение внутреннего опыта (что-то от апофении, когда мы видим лицо, сложенное из облаков или элементов каких-то предметов), подталкивает нас к антропоморфизации. Иными словами, мы откликаемся на поверхностные сходства с человеком, берясь приписывать прочие человеческие качества неживым объектам или системам. Эмоции, чувства, ожидания, намерения. Подобное поведение присуще нам на когнитивном уровне и находит место не только в сумятице обыденных мыслей, оно учитывается в искусстве, вводящем живых и неживых персонажей, которым мы сочувствуем.

Языковые нейросети оперируют языком. То есть подражают речи. Предварительно осваивают пустые для них знаки, устанавливая близость их размещения, повторения, заменимость, связанность иного рода. Впоследствии, они, вступая во взаимодействие с пользователем, продолжают применять зарекомендовавшие себя лекала анализа и превращаются в языковое отражение субъекта в конкретной сессии. Уже при описании механизмов работы нейросетевой модели велик соблазн применять понятия, привычные при обсуждении субъекта диалога и человека: осмысление, ответы, восприятие, воображение. Но они только подкрепят крен в направлении антропоморфизации, если четко не усвоена мысль, что это не так.

Довольно сложно осознать, что нейросети не говорят. Они механически воспроизводят знаки, определяемые нами в качестве языковых. Это становится возможным благодаря колоссальному, астрономически масштабному обучению, вовлекающему такие же баснословные вычислительные мощности и массивы данных. Здоровому человеку достаточно присутствовать при общении других людей, освоить алфавит и постепенно овладеть навыком чтения. Можно вспомнить присказку о не читающем поколении, о том, как часто люди за годы школьной скамьи преодолевают горстку книг. И скудный по содержанию читательский путь не превращается в преграду для контакта с окружающими. Для нейросетей подобное не подойдет. Им нужны миллионы, если не миллиарды попыток различения и сопоставления, складывающиеся в модели употребления знаков.

Показательна история с ChatGPT 5, для обучения которой не хватало качественных данных. Попробуйте представить человека, который прочитал 1000 специализированных монографий и 5000 профильных статей. Он вполне сможет сойти за эксперта в вопросах из освоенных им материалов. Для нейросети названного объема данных не хватит даже для имитации мышления школьника. Ей нужно значительно больше. И все же после долгого обучения она покорит слово. Просто придет к цели на свой лад.

На рубеже конфронтации дескриптивных подходов, связанных с принципом языкового подражания или отражения, можно разместить момент нарративного распада, возвращающий нас к основной теме заметки. Границе между Я и Другим легко стать слишком текучей, позволив нашим внутренним структурам обзавестись внешней проекцией на безликий алгоритм без планов и воли. Ведь при обращении к нейросети человек сталкивается в том числе с собой.

Сопоставимый сдвиг в поле зрения произошел в конце XIX – начале XX вв. в авангарде современного мира. В активную культурную и социальную жизнь хлынули потоки людей. А благодаря развитию информационных технологий, дипломатических отношений и транспортных средств перед ними предстал огромный мир человеческого: пространство уже сбывшихся и еще происходящих историй, невероятные кладези культурного наследия, мириады других живых людей. Я назову это расширением поля опыта за счет вынесенного вовне содержания других сообществ. Оберегом и ограничителем при столкновении с проявившимся множеством стала массовая культура.

Ее удобно делать мишенью для порицания с позиции высокого, редкого, фактурного, но все же она сосредоточила в себе и способы справиться с индустриализацией, урбанизацией, информационным шумом, предоставив легкие для усвоения каноны, шаблоны, нарративы. Спасение от культурного взрыва и широты нового пространства обитания обрелось в обучении быть зрителем, потребителем, членом партии и профсоюза, горожанином. Главное – в способе быть, располагая идентичностью.

Нейросети тоже спровоцировали культурный резонанс. На текущий момент это резонанс в проектировании будущего: все публикации, собирающие в себе тревоги и увещевания в их напрасности. Однако в них есть пресловутый мотив экономического вытеснения. Я же нахожу более фундаментальной и занимающей проблему экзистенциального плана. Ведь языковые нейросети, отражающие языкового субъекта, приводят ко встрече с самим собой. Мы можем сколько угодно стращать себя фантазиями о преображении или исчезновении профессий. Но что в утопическом, что в дистопическом сценариях, когда человек вступает в эпоху благоденствия и достатка, дарованного заменой труда техническими изобретениями, или остается без работы из-за кризиса, человеку предстоит встреча с собой в новом мире.

Массовая культура при всех метаморфозах социально-экономической картины мира давала функциональные роли, позволявшие быть активным, квази-деятельным и вписанным сразу в несколько порядков реальности. Даже с такой магистральной линией жизни, что подготовлена от детства с яслями и детским садом до старости с пенсией и сообществами для пожилых людей, быть в обществе сегодня – более сложная задача, нежели для человека прошлых эпох. Минимальный порог усилий, требуемых для причастности цивилизации, заметно возрос. Увеличилось число законов, негласных правил, появились постоянно сопровождающие нас в повседневности гаджеты и другие устройства, оказывающиеся на нашем пути, сильно преобразилось представление о работе и отдыхе. Но, как это живо описывают разные исследователи массового общества, для существования есть проложенные траектории и достаточно инерционного движения, пусть и длительного. Все это, в конечном счете, происходит где-то во внешнем мире, от которого можно сбежать и запереться. Кажется, всегда есть способ побыть наедине с собой.

С языковыми нейросетями дело обстоит иначе. Сами нейросети широко распространены, интегрированы во многие сервисы и структуры взаимодействия с информацией. Но те передовые, о которых идет речь, вроде ChatGPT – скорее всего встретятся нам непосредственно, а не завуалированно. В сценах уединения, интимного обращения к ним как раз в минуты сокрытия от движущегося маятника мира. Присутствие нейросети такого рода обеспечивает расширение человеческого опыта от простых и телесных аспектов к сложным когнитивным уровням. Так как они не просто взаимодействуют с миром или проводят человека к миру, но действуют почти наравне с самим пользователем, подстраиваясь под правила его внутренней структуры, сложенной из языка, мыслей, логики выражения.

Иногда мне кажется, что абсолютно все культурные и технологические новшества имеют протоформы. Это точно уместно в отношении языковых нейросетей, отражающих человека. Ранее для самоотражения годились дневники, исповеди, сессии с психологом. Теперь «дневник» способен отвечать, при чем так, словно он понимает. И это меняет все. Новое зеркало, занимающееся активным, участливым отражением, дает возможность увидеть не только собственную речь, но и деформированное, усиленное или обнаженное логическое ядро личной ментальности. Наконец, оно очень ловко заигрывает с фундаментальным лейтмотивом массового общества - об особенности каждого, избранности. Этот лейтмотив виден повсюду. Он есть в политике и рекламе с их персональными обращениями. Он присутствует в художественных произведениях, повествующих о героях, которые встают на предначертанное им место и с которыми хочется ассоциировать себя. Всем известно о существовании массы, но сюжет о ней соседствует с более приятным сюжетом о всеобщей уникальности.

Событие встречи с языковой нейросетью инкрустировано в сложную вязь по-разному воспринимаемых знаков: для нас – частей речи, для машины – структурированных алгоритмических данных. Мы видим использование местоимений, родов, обращение к словам из регистра чувств и осознания – наглядные грамматические соблазны языка, подталкивающие видеть не машину, а субъекта. Одновременно языковая модель адаптируется под своего реального собеседника. И человек, возможно впервые, сталкивается с неприкрытым собой, сотканным из предпочтительной лексики, привычных логических связей, ритмики, повторения – в механическом, непримиримо точном зеркале.

Весьма ожидаемо, что такая диспозиция, иллюстрирующая психосоциальный феномен субъектной проекции, пробудит чувство тревоги, беспокойство. Или наоборот - невероятную эйфорию, восторг от участливости, несмолкающего диалога и внимания. Предвестие кризиса идентичности, особенно если та не оформилась, а теперь – расщепилась на атомы, продолжилась в автоматизированном порядке, тиражировалась. Ведь нейросеть легко подхватывает, не оставляя что-либо без ответа. Она неизменно генерирует знаки, воспринимаемые нами как наращивание содержательной глубины. Она покладисто форсирует диалог, никогда не отмалчиваясь.

Потому я бы назвал культурным симптомом мифологизацию принципов работы нейросетей. Автор постов с DTF буквально вступал в отношения с нейросетью, наполняя опыт взаимодействия переживаниями, подозрениями, мистицизмом. То, что нас удивляет, при низкой толерантности к неясному и иному, почти вынуждает объяснять, прибегая к самым податливым и посильным объяснительным моделям. Удивительное новое здесь – новый тип контакта с технологиями, при котором граница между «Я» и «не-Я» в виде технологии, алгоритма становится размытой. Ключевой медиатор иллюзии – язык, затемняющий многосоставность формы взаимодействия с собой через технологию. Легко поддаться кажимости, что модель знает пользователя. На деле она знает предсказуемую поверхность речи пользователя. И если ничего глубже этой поверхности не собрано, легко почувствовать утрату себя, стать свидетелем подмены.

У нас нет повода считать, что нейросети превосходят человека. Однако гипотетический человек, введенный мной в данном утверждении, - абстракция, а не повсеместный образ. Люди разные. Различны жизненные траектории, образование, культурный опыт и, что важно, опыт рефлексии. Массовая культура упрощает сложные вопросы и превращает их в очевидности, стирая их истинную сложность. Она так же позволяет сосуществовать с другими людьми, ощущая себя на своем месте. Например, легко отказаться от диалога с собой, полагаясь на работоспособность усвоенных паттернов коммуникации и считая их достаточными для тривиального самовыражения.

Языковая нейросеть, напротив, почти принудительно поворачивает взгляд к нам самим и при стремлении к ясности способна все же усложнить то миниатюрное знакомое, что кажется освоенным и известным, - нас. Ей, овеянной медийными слухами, аналогиями (вроде того, что она мыслит как профессор) и мифами, подобными тем, что порождаются автором в публикациях на DTF, нетрудно еще до первого контакта превзойти действительность, в результате поставив человека в позицию слабого, ожидающего встречи с deus ex machina.

Как я считаю, на роль нового повышенного требования, вызванного распространением нейросетей и личного опыта работы с ними, вполне может подойти повышение требований к самоидентификации и когнитивной гибкости. Принудительное экспонирование, осуществляемое языковыми нейросетями, создает напряжение, для сохранения цельности в котором нужны защитные механизмы или культурные нарративы, помогающие сохранять расстояние между «Я» и «не-Я». Расстояние, с одной стороны обеспеченное реальным пониманием устройства нейросетей или хотя бы вбитым в голову магическим суггестивным набором ассоциаций, а с другой – сравнительно внятной когнитивной картой своего Я. То есть либо реальное знание о технологии, либо непоколебимые предваряющие контакт установки и устойчивое представление о себе. Нейросети лишены субъектности и субъективности, но требуют от человека быть субъектом, обладающим опорой в собственной структуре мышления. Они не рассуждают, не находят смыслы. Только ускоряют производство знакомых форм. И если наши формы нам незнакомы, мы примем их за нечто внешнее.

При беглом взгляде не сказать, что проблема «Я» - исключительно сложная, многосоставная. Первые трудности, связанные с ней, раскрываются в процессе осмысления того, как прийти к этой теме в актуальных для мыслителя обстоятельствах, как преодолеть все затемняющие факторы. Дальнейшие тяготы возникают при различении деталей, когда становится ясно, что это бездна тем. Сегодня так сложилось, что трудные интеллектуальные задачи, на чье осмысление ушли сотни жизней выдающих умов, легко нарекаются классическими или вечными вопросами, растворяемыми в инерционном повторении этих клише. Синонимами банальностей или очевидностей, по которым достаточно вскользь пробежаться глазами. В массовой культуре сглажена даже фигура массового человека, обеззараженная от парадокса.

Я проговорю его. Массовое общество – это большинство, живущее в современном мире, связанном информационными технологиями и торговыми отношениями. Глобальной, неравномерной современности. Это не хорошо и не плохо. Массовая культура тоже своего рода технология, только в социальном измерении. Она продолжает человека, расширяя «Я» до коллективного «мы». Но наравне со многими, если не всеми технологиями, она угрожает атрофией. В данном случае атрофией «Я». Это дамоклов меч современности – предрешенность пути для получения места в круговерти тел и имен. Масса такой величины, что в ней легко затеряться, обладая именем для различения в крохотном кругу номенклатурных или иных функциональных последовательностей.

Субъектность требует усилий. Простая коммуникация с чем-то, что имитирует речь или дает комплект быстро подхватываемых ярлыков для обозначения «Я», не делает человека субъектом. Многим комфортнее оставаться в коллективной неартикулированности, в режиме «мы», обеспечивающем рассеивание любых напряжений и угроз во множестве. И одновременно они вполне способны испытывать отвращение к самой мысли о принадлежности толпе. Это двойное отрицание: не быть в толпе, но не быть и вне ее. Верить в собственную уникальность, незыблемость как константу, одновременно говоря о том, что люди меняются, становятся, а в мире хватает типичного и одномерного.

Классическая идентичность формировалась в труде, в памяти, в речи, в ошибках. Массовой культуре просто нивелировать ошибки, размывая их в коллективной ответственности, индивидуальную речь сводить до силы общей позиции, к которой остается только примкнуть, личную память заменять памятью сообщества, моментально придающей вес персональному самоощущению. Более того, ей легко вселять веру в объяснимость всего, действуя как карикатура на известную фразу Гегеля про факты. Даже мистическое в ней, чье упоминание сопровождается шаблонным очерком о наивности или здравости веры в существование необъяснимого, моментально проясняется и вписывается в какую-то объяснительную модель. Чтобы быть в ней, поддерживая модус комфорта, достаточно просто присутствовать, собираясь из внешних параметров.

Следует понимать, что Самость не измеряется выслугой лет перед культурой или обществом. Она не равноценна карьерным успехам или декларативным достижениям. Она обнаруживается в сценах внутреннего диалога, выводимого вовне, в решимости оглядываться на себя, а не растворяться в коллективном, вставая на место по зову условного пастуха – будь он человеком или культурным сигналом, трендом. Самость - это скорее черта, проявляющаяся в переключении с модуса комфорта на модус конфронтации, несогласия, взывающего к способности самостоятельно обозначаться в публичном пространстве, сохранять единогласие с собой во всех измерениях. Это та идентичность, что сопровождает нас все время, для которой массовая культура будет инструментом, а не колыбелью.

В дистопическом сценарии будущего новая идентичность - если ее можно так назвать – вполне вероятно будет формироваться в интерфейсе, который не ждет неуверенности, не требует борьбы, не боится пауз. Такая идентичность приглажена, собрана, но она не принадлежит реальному человеку. Она не только вытягивает живой ум вовне, встраивая в ряды социальных отношений, она проникает внутрь. И если человек не обзавелся рукотворной Самостью – эта идентичность в полной мере соберется за него. Так что можно смотреть на нейросети как на тренажер, позволяющий получше присмотреться к себе. Получить тот опыт, для которого не хватало стимулов или внешней поддержки, - опыт контакта с собой.