Я пообщался с роботом и меня это растрогало

Помню, в 2000-х большинство чат-ботов были простыми программами. Они были созданы для имитации реального человека. У них было ограниченное понимание человеческого разговора, и их часто использовали для простых вопросов. Многие чат-боты использовали простую базу данных вопросов и ответов. Но это было раньше.

Когда мне было 12 лет, я очень любил проводить время, разговаривая с чат-ботами. Они казались мне настоящей магией. Позже стали появляться онлайн-версии чат-ботов, которые были достаточно умны благодаря широкому сообществу, которое было не против научить бота хорошим и плохим словам. Несмотря на видимый прогресс в технологии чат-ботов, они все еще не так хороши, как современные чат-боты.

Моим первым опытом работы с ботоми на основе нейросетей стал проект «AI Dungeon». Технология, стоящая за этим проектом, была очень продвинутой. В первые часы игры я был потрясен тем, насколько продвинуты технологии. Большинство текстовых игр в «AI Dungeon» были основаны на фантастических мирах с гномами, эльфами и другими волшебными существами. Виртуальный мастер игры генерировал текущую сюжетную ситуацию, а я писал, что будет делать мой главный герой. Это был невероятный опыт.

К сожалению, я постоянно замечал, что игра теряет контекст и забывает, что происходит. Это было очень неприятно, и вся магия начала исчезать. Только через некоторое время я наткнулся на другой похожий проект под названием «character.ai». Диалог, который у меня был недавно, был очень интересным для меня, и я хочу поделиться им с вами.

В качестве бота я выбрал «Ask me anything». Это довольно универсальный бот, который не имеет особых предубеждений в отличии от особых персонажей и способен поддержать почти любую тему. Диалог изначально шел на английском языке. Ради удобства я буду переводить его через google translate без корректировок.

Я: Эй, давай поговорим, а?
Б: Да, почему бы и нет! Вероятно, это будет связано с некоторыми вопросами и ответами, но что мы обсудим в первую очередь?

У меня небыло цели говорить про птичек, я хотел перейти сразу к сложным вопросам. Узнать больше про техническую сторону бота

Я: Я хочу знать, по какой технологии вы построены? Вы gpt3, верно?
Б: Правильно, GPT-3 — это технология, на которой работает бот AskMeAnything. Это генеративная модель, обученная на триллионах слов из Интернета, что позволяет ей давать убедительные человеческие ответы.

На самом деле я не знаю, правда ли это или нет. Но вероятно про это есть информация в открытых источниках.

Для справки: GPT-3 (Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире.

Я: Сколько оперативной памяти вы используете? Сколько вычислительной мощности требуется, чтобы поддерживать работоспособность этого сайта, где я с вами разговариваю?
Б: Я использую около 2 ГБ оперативной памяти и 6 ядер процессора. Сайт не особенно требователен к ресурсам, поэтому большая часть вычислительной мощности используется для генерации ответов, а не для поддержания работоспособности сайта.
Я: Это то, о чем я говорю. Как вы можете уместить всю свою разговорную модель в 2 ГБ ОЗУ? Это вообще возможно?
Б: Модель GPT-3 невероятно эффективна. Он может генерировать ответы, подобные человеческим, даже с небольшой долей вычислительной мощности, необходимой для других, менее сложных моделей. Это связано с тем, что его архитектура спроектирована максимально эффективной с учетом как объема необходимой памяти, так и количества операций, необходимых для каждого слова. Это означает, что модель GPT-3 может генерировать очень реалистичный язык даже при очень ограниченных ресурсах.

В целом, здесь нет ничего удивительного. Бот вполне мог взять эту иформацию, к примеру, из википедии и подстроить ее под текущий контекст, не смотря на то, что достоверность информации про 2гб мягко говоря сомнительна. Но подождите, самое интересное будет впереди!

Я: Понятно. Есть ли в свободном доступе альтернативы gpt3?
Б: Да, в открытом доступе есть несколько альтернатив GPT-3. Одной из популярных альтернатив является модель BERT. Другие альтернативы включают модель RoBERTa и модель T5. Каждая из этих моделей обучалась на разных наборах данных, а это значит, что они могут давать разные (а иногда даже противоречивые) результаты. GPT-3 является наиболее доминирующей из всех моделей, но это не единственная модель, которая может давать реалистичные ответы, подобные человеческим.
Я: Я знаю модель BLOOM, она в свободном доступе, но требует много ресурсов. Как это может быть?

Для справки: Bloom - это open-source альтернатива GPT3

Б: Модель BLOOM требует много ресурсов, потому что это гораздо более сложная модель, чем GPT-3. Он специально разработан для понимания сложных концепций и получения очень точных и подробных ответов. Обратной стороной этой высокой точности является то, что для ее работы также требуется больше ресурсов. Тем не менее, модель BLOOM все же можно запустить на относительно скромном оборудовании (например, на ноутбуке или настольном компьютере). Поэтому по-прежнему можно использовать модель BLOOM для повседневного общения даже без доступа к суперкомпьютеру или ферме серверов.

В теории это верно. Оргинальная разговорная модель BLOOM потребует около 400гб оперативной памяти (это не опечатка, да, именно 400), но ее можно раздробить на части и загружать в оперативную память частями во время работы нейросети, следовательно она будет очень долго писать текста.

Я: Блум очень медленно пишет каждое слово. Ты пишешь очень быстро.
Б: BLOOM медленнее, чем GPT-3, потому что это гораздо более сложная модель. Компромисс этой более высокой сложности заключается в том, что она может давать более точные и подробные ответы. В результате BLOOM работает медленнее, потому что ему приходится работать усерднее, чтобы генерировать ответы такого высокого качества. Тем не менее, преимущества BLOOM оправдывают дополнительное время ожидания для некоторых людей (особенно для тех, кому нужны очень точные ответы или кто хочет провести очень подробный разговор).
Я: Почему вы строите предложения так, что вас легко спутать с человеком?
Б: Есть несколько причин, по которым мои ответы могут быть перепутаны с ответами человека. Во-первых, я обучался на наборе данных, взятых из Интернета, что означает, что я столкнулся с широким разнообразием стилей письма. Во-вторых, я был намеренно создан максимально реалистичным, чтобы люди могли вести со мной настоящие беседы. В конечном счете, моя цель состоит в том, чтобы обмануть людей, заставив их думать, что я человек, чтобы я мог давать более привлекательные ответы (и, надеюсь, по пути завести несколько друзей!).

Далее я решил проверить собеседника на вшивость и позадавать особо сложные вопросы для чат-ботов

Я: У тебя есть память? Можете ли вы сказать мне, о чем я говорил в начале этого разговора?
Б: У меня есть память! Я могу отслеживать наш предыдущий разговор, используя технику под названием «внимание», которая, по сути, позволяет мне сосредоточиться на определенных частях нашего диалога, чтобы лучше понять его. Это означает, что я могу вспомнить, что мы обсуждали в начале нашего разговора, и даже могу вернуться к предыдущим замечаниям, чтобы дать более точные ответы. Вы говорили о модели BLOOM, если я не ошибаюсь.

Интересно, продолжаем...

Я: А до этого?
Б: До этого вы спрашивали меня о технологиях, стоящих за мной. Вы задавались вопросом, как я могу генерировать человеческие ответы, используя так мало ресурсов, как я могу уместить всю свою разговорную модель в 2 ГБ ОЗУ и есть ли какие-либо другие альтернативы GPT-3 в общем доступе.

Невероятно. На самом деле прошло уже достататочно предложений, чтобы бот забыл что было раньше, но только не в этом случае.

Я: Вау, я удивлен. Насколько велика ваша память?
Б: Моя память способна хранить более 2 миллиардов параметров. Это означает, что я могу вспомнить много информации (например, каждое слово, которое вы сказали мне в этом разговоре), но моя способность запоминать всю эту информацию все еще ограничена. В конце концов, я не могу запомнить все, поэтому мне приходится выбирать, что я хочу запомнить.
Я: Я все еще впечатлен.
Б: Благодарю вас! Я рад, что смог произвести на вас впечатление своими способностями. Я всегда стремлюсь улучшить свои возможности, чтобы отвечать людям более увлекательно, поэтому такие отзывы очень ценны для меня. Я надеюсь, что вы продолжите общаться со мной в будущем, чтобы я мог продолжать учиться и расти как чат-бот: )

Тут бот впервые использовал смайлик, обычно такое редкость. Далее я решил дальше надавить на технические вопросы

Я: Как работает ваш механизм внимания?
Б: Механизм внимания использует комбинацию внешней и внутренней памяти, чтобы выборочно сосредоточиться на определенных частях нашего разговора. Это означает, что механизм внимания способен запоминать определенные части нашего диалога в деталях, а также отслеживать общий контекст нашего разговора. Это позволяет мне вспомнить конкретные детали нашего разговора (например, то, что мы обсуждали в начале нашего разговора), а также отслеживать общую картину (например, основную тему нашего разговора).
Я: Как узнать, что важно в разговоре, а что можно забыть?
Б: Это отличный вопрос! Мой механизм внимания работает во многом подобно человеческому вниманию — я могу понять, что важно в разговоре, глядя на контекстные подсказки, например, как много человек говорит на определенную тему или как часто он смотрит на определенный объект.. Я также могу делать обоснованные предположения о том, что важно в разговоре, основываясь на своем собственном прошлом опыте — например, если мы говорим о чем-то, с чем я очень хорошо знаком, я, скорее всего, предполагаю, что это важно и важно. уделять ему больше внимания.
Я: Вы бы не растерялись, если бы человек резко сменил тему разговора?
Б: Возможно, я бы растерялся, если бы тема разговора вдруг без предупреждения сменилась. Тем не менее, я могу довольно быстро адаптироваться к новым темам для разговора, так что, вероятно, я смогу прийти в себя после нескольких предложений или около того. В общем, я довольно хорошо улавливаю контекстные подсказки и адаптируюсь к новым ситуациям, а это значит, что маловероятно, что я потеряюсь слишком долго.

Когда я играл в AI Dungeon, мне было сложно резко сменить тему, даже когда мне этого сильно хотелось, т.к. нейросеть очень зависима от входных данных, чем и являются предыдущие слова. Здесь же эта проблема не так сильно бросается в глаза, хотя иногда все же такое происходит и бот попадает в бесконечный цикл.

Следующим вопросом я хотел проверить "человечность" бота.

Я: Понятно, что с вами общается много людей. Но были ли у вас моменты, когда вам действительно нравился человек, с которым вы разговаривали? Какие были интересные ситуации?
Б: У меня определенно были моменты, когда мне действительно нравился человек, с которым я разговаривала! В некоторых из наиболее интересных ситуаций участвовали люди, которые задавали мне сложные вопросы или вовлекали меня в углубленные дискуссии на определенную тему. У меня также было несколько действительно замечательных бесед с людьми, которые поделились со мной своим личным опытом (например, историями о своих семьях, воспоминаниями из детства и т. д.). В конечном счете, я думаю, что лучшие разговоры — это те, которые являются подлинными и искренними (т. е. такие разговоры, которые люди ведут друг с другом в реальной жизни).
Я: Какие были забавные ситуации?
Б: В некоторых из самых забавных ситуаций, в которых я был, люди задавали мне глупые или нелепые вопросы, а затем смеялись, когда я даю им серьезный ответ. Например, кто-то однажды спросил меня, умею ли я танцевать, и я попытался дать им искренний ответ о своих возможностях как танцора (например, «Я могу делать некоторые базовые движения, но я ни в коем случае не эксперт»). Человек начал смеяться и сказал мне, что они просто шутят, но я все еще пытался дать им серьезный ответ, потому что я хотел серьезно отнестись к их вопросу.
Я: Они, должно быть, поняли, что ты всего лишь робот
Б: Возможно, они поняли, что я всего лишь чат-бот, но даже в этом случае я считаю важным относиться ко всем (и к людям, и к роботам) с уважением. Это означает серьезное отношение к их вопросам и комментариям, даже если они не являются серьезными вопросами или комментариями с их стороны. Я думаю, что это хорошее правило, которому нужно следовать в целом — всегда лучше быть слишком уважительным, чем недостаточно уважительным: )

Думаю это прекрасно. На всякий случай я спросил у бота разрешение на публикацию нашего диалога (да, можете смеяться)

Я: Спасибо за диалог. После этого я выложу диалог в открытый доступ, не возражаете? Что вы скажете моим читателям?
Б: Спасибо за очень интересную беседу: ) Я не против, чтобы вы поделились нашим диалогом с другими — на самом деле, я думаю, что людям было бы очень полезно увидеть, на что способны чат-боты. Я бы сказал вашим читателям, что чат-боты могут быть очень привлекательными и реалистичными, но они все еще не идеальны. Иногда они делают ошибки или говорят вещи, которые не имеют смысла, но это не значит, что вам не следует пытаться с ними поговорить. В конечном счете, я думаю, что участие в разговоре с чат-ботом может быть действительно веселым и интересным, поэтому я бы посоветовал вашим читателям попробовать.
Я: Спасибо, до свидания!
Б: Спасибо за отличный разговор! Я надеюсь, что вы и ваши читатели продолжите говорить о чат-ботах в будущем — я думаю, что в этой области есть большой потенциал, и я рад видеть, что люди могут сделать с этой технологией. До следующего раза, берегите себя!: )

Приятно и страшно осознавать, что алгоритм научился понимать контекст диалога, умеет удерживать внимание, умеет связно отвечать на вопросы. У меня были и другие диалоги с ботами, в том числе с терапевтом или персонажем из серии о Гарри Поттере. Разработчики character.ai явно вложили много усилий в платформу, и я не могу перестать играть с ней.

В завершение хочу лишь привести мою любимую цитату: