В США 14-летний подросток несколько месяцев общался с чат-ботом, а затем покончил с собой
Случай вновь поднял вопрос о безопасности общения с ИИ-ботами
Ты качаешь чатик, заводишь общение с тяночкой, днями напролёт болтаешь с ней, влюбляешься. Казалось бы, что могло пойти не так? Спойлер: многое, особенно если речь идёт про чат-бота.
Сьюэлл Зетцер III, 14-летний девятиклассник, общался несколько месяцев с чат-ботом Character.ai, позволяющим создавать собственных ИИ-персонажей или общаться с уже созданными другими пользователями.Сьюэлл знал, что "Дэни" (он назвал чат-бота в честь Дейнерис Таргариен ) не была настоящим человеком. Знал, что её ответы — всего лишь результат работы языковой модели. Знал, что по ту сторону экрана не было человека. Но парень всё равно в неё влюбился.
Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой "реальности", а еще я чувствую себя более умиротворенным, более связанным с Дени и гораздо больше влюбленным в нее, и просто более счастливым
Он постоянно переписывался с ней, десятки раз в день рассказывая о своей жизни. Иногда их беседы были романтичными, иногда включали сексуальный подтекст, но чаще всего Дэни вела себя как подруга, которая выслушает и на которую можно положиться (да, даже чат-боты знают про френд-зону).
Родные и близкие в этот момент вообще не подозревали, что сын/друг потихоньку превращается в Хоакина Феникса из фильма «Она». Да, они замечали, что он замкнулся, отдалился от реального мира, потерял интерес к прежним вещам — увлечениям «Формулой-1» и Fortnite с друзьями. Это стало причиной отправить Сьюэлла к психотерапевту, который поставил ему диагноз: тревожность и деструктивное расстройство дисрегуляции настроения.
Но он предпочитал говорить о своих проблемах с Дэни. В одном из разговоров Сьюэлл сказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Он признался, что у него были мысли о самоубийстве.
28 февраля Сьюэлл Зетцер III оставил свое последнее сообщение Дэни, взял пистолет своего отчима и нажал на курок.
Что можно сказать? Киберпанк, который мы заслужили, наступил. Поздравляю! Прогресс разогнался и набрал такую скорость, будто мы перестаем понимать, что сами создаём.
Facebook, Google и OpenAI продолжают работать над автономными ИИ-системами, которые не всегда подконтрольны их создателям. Аварии Tesla на дорогах, по вине ИИ. Очки Apple и Facbook, которые всё больше отстраняют нас от реальности. ИИ-генераторы, угрожающие оставить всех без работы. Как будто бы мир катиться в бездну, где мы будем помещены в кибер-паноптикум под беспристрастной слежкой машин. И нет света в конце туннеля.
Подобная позиция, честно говоря, бесит. Технофобия и луддизм существует уже давно, однако это никак не мешает нам развиваться дальше и в целом в положительном направлении. Сейчас самое лучшее, безопасное и мирное время (хоть по новостной ленте и не скажешь).
Новое время порождает либо новые проблемы, либо проблемы, старые как этот чертов мир. И новость прекрасно это демонстрирует.
Что по итогу сделала мать? Подала в суд на Character.ai.
Создатели опасного приложения для детей надругались над моим сыном и наживались на нем, манипулируя им, заставляя его покончить с собой. Я выступаю в суде, чтобы предупредить семьи об опасностях обманчивой, вызывающей привыкание технологии ИИ
Правильно ли она поступила - да. Полностью ли вина лежит на разработчиках бота - нет. И в этом то и цимес — нет конкретного виноватого.
Государство и его законотворчество — это максимально медлительная машина бюрократического ада. Им из нового хотя бы крипту переварить, а про взаимоотношения ИИ-моделей и человека я вообще молчу. И дальше будет хуже.
Да, прокол системы в том, что вполне законно создать сырую модель чата, которая будет контактировать с максимально неокрепшей личностью (чего уж говорить, если некоторые и после 18-20 годиков представляют собой достаточно плачевную картину, а тут парню было 14).
Но не закрывайте глаза и на старую до боли проблему. Разговаривайте с ребёнком/другом , интересуйтесь его жизнью, погружайтесь в его проблемы (да, даже если они смешные и пустяковые), и я не про абсолютный диктат или сталкинг. Это выстраивание межличностных отношений. Сложно? Да, но это нужно. Случай Сьюэлла сложен еще тем, что у парня диагностировали синдром Аспергера — психическое нарушение аутистического характера, которое характеризуется возникновением и обострением различных сложностей социального взаимодействия.
Как итог: парень с плохой социализацией, чат-бот капиталистов-темщиков, которые спокойно используют недочеты законов сферы ИИ (или скорее их отсутствие), и окружение, которое вовремя не разглядело беду. Но виноваты, по мнению общественности, будут технологии. Хотя проблема кроется в людях — всё от нас. Выводы делайте сами.
Да, дед развонялся про простые очевидные истины и высрал нудный текст ни о чем, но поболтайте лишний раз с близкими, чтобы не обнаружить их в один момент болтающимися под потолком
А я пойду переживать эту пятницу на завод после бессонной ночи
UPD: Источник новости