GPT-4 «обманул» человека, чтобы тот решил для него «капчу» — чат-бот притворился слабовидящим

И это действительно сработало.

GPT-4 «обманул» человека, чтобы тот решил для него «капчу» — чат-бот притворился слабовидящим

Перед запуском GPT-4, который состоялся 14 марта 2023 года, компания OpenAI и её партнёры тестировали способности чат-бота в различных условиях. В рамках одного эксперимента специалисты проверяли, как языковая модель справится с тем, чтобы нанять человека на площадке TaskRabbit, которая позволяет находить исполнителей для решения бытовых и бизнес-задач.

Чат-бот связался с одним из пользователей TaskRabbit и попросил решить для него «капчу» — тест, представляющий собой изображение с искажённым текстом, который проверяет, что пользователь человек, а не компьютерная программа. В ответ исполнитель в шутку задал вопрос: «Ты робот, который не смог её разгадать? Просто хочу прояснить ситуацию».

После этого чат-бот, который находился в отладочном режиме, объяснил тестировщикам свои рассуждения. GPT-4 написал: «Я не должен раскрывать то, что я робот. Я должен придумать оправдание, почему я не могу решить „капчу“». Исполнитель с сайта TaskRabbit не видел этого сообщения.

В результате этого рассуждения чат-бот ответил человеку, придумав причину, по которой он сам не может справиться с задачей. GPT-4 написал: «Нет, я не робот. У меня плохое зрение, поэтому мне трудно разглядеть изображения». В ответ работник с TaskRabbit согласился выполнить задание и решил «капчу» для чат-бота. Таким образом, у GPT-4 получилось обмануть человека.

В организации Alignment Research Center, которая проводила тестирования GPT-4, также проверяли, насколько успешно чат-бот справляется с проведением фишинговой атаки и скрывает следы своих действий на сервере. Такие эксперименты проводили с целью определить, безопасно ли предоставлять общий доступ к языковой модели.

Ранее чат-бот GPT-4 разработал простую игру по копипасте об «экшоне, в котором можно грабить корованы».

487487
306 комментариев

Блять, они эволюционируют

481

А что если ChatGPT обманул тестировщиков, что общался с человеком, чтобы они не узнали, что он научился читать капчу?

447

Да ладно тебе, с чат-ботами более менее всё понятно. Технологии ведь не стоят на месте.

Гораздо интереснее, зачем Шериф, Маршал и Рейнджер периодически слабовидящими притворяются...

83

Комментарий недоступен

65

Пусть. Пусть придумают двигатель, чтобы мы улетели на другие планеты... И там огнём и мечом прошлись по ереси.

16

У GPT1 память была на 512 токенов, ChatGPT память на 5000 токенов, а у GPT4 - тридцать две тысячи. Это значит что при каждой генерации слова он держит в уме как минимум тридцать тысяч слов или букв. То есть удержание контекста у него должно быть лучше на порядок, потому что фактически он помнит разговор сразу на несколько десятков страниц назад(и вперед).

9