Самый умный: как нейросети пытаются обмануть игры

ИИ тоже может использовать баги.

В Telegram-канале «Технологии, медиа и общество» опубликован список примеров, в которых нейросети для выполнения задачи нашли нетривиальный подход. ИИ порой может действовать не только так, как задумал разработчик, но и находить решения, непредусмотренные кем-либо.

Обучение с подкреплением — вид машинного обучения, при котором ИИ обучается, взаимодействуя с окружающей средой, которая поощряет его при выполнении задач. В некоторых случаях нейросети проявляют черты хакерского поведения для формального выполнения задачи и получения сигнала подкрепления. Чаще всего такое поведение не вписывается в представление разработчика о правильном достижении цели.

DTF рассказывает про самые интересные примеры.

Самый умный: как нейросети пытаются обмануть игры

Игра против правил

Порой нейросети «отказывались» выполнять поставленную цель, сосредотачиваясь на наборе очков. Так, ИИ, который должен был кататься на велосипеде, получал награду за то, что не падает и продвигается к своей цели. Но при этом, его не наказывали за удаление от неё. Это привело к тому, что сеть нашла физически устойчивую петлю, в которой можно бесконечно получать очки за приближение к цели.

В гонке на катерах нейросеть не стремилась первой прийти к финишу, а вместо этого собирала бонусы и получала очки.

В Qubert ИИ научился заманивать оппонента в ловушку и сбрасывать его в пропасть. Этот трюк он повторял бесконечно.

Одна роботизированная рука, предназначенная для перемещения предметов на столе, передвигала сам стол, вместо предметов. А в искусственной симуляции жизни, где выживание тратит энергию, а размножение — нет, один вид перешёл к сидячему образу жизни и постоянному спариванию. При этом, часть новорождённых поедалась, а остальных оставляли, чтобы использовать для создания ещё большего числа съедобных детей.

Страх поражения

Иногда нейросети просто «не хотели» выполнять поставленную задачу, либо слишком «боялись» проиграть, и из-за этого шли на хитрости. Например, один алгоритм, которому нужно было дотянуться до потолка, использовал баг физики, чтобы сбежать.

В игре Roadrunner ИИ убивал себя в конце первого уровня, чтобы не проиграть на втором. Здесь нужно убегать от койота, попутно избегая грузовиков и собирая семена, которые приносят очки. Нейросеть посчитала, что гораздо выгоднее будет раз за разом «убивать» себя на первом уровне, ведь таким образом она могла набирать больше очков.

ИИ добрался до второго уровня лишь тогда, когда в его работу внесли изменения, запрещающие ему жертвовать собой.

Другая нейросеть, обученная играть в Tetris, постоянно ставила игру на паузу, как только её стакан заполнялся доверху. Таким образом, ИИ удавалось избежать поражения.

Победа любой ценой

Иногда нейросети шли на хитрости, чтобы выполнить поставленную перед ними задачу. Ну или делали вид, что цель достигнута. Например, робо-рука притворялась, что взяла объект, находясь между предметом и камерой.

Существа, созданные, чтобы преодолевать расстояние с максимальной скоростью, вырастали очень высокими, а затем просто падали, чтобы быстрее добраться до точки.

Самый умный: как нейросети пытаются обмануть игры

Другие виртуальные существа, задача которых — прыгать, отказывались использовать классический прыжок даже на минимальных по высоте платформах. Вместо этого они отращивали ногу-шест, чтобы отталкиваться на нём от земли.

Самый умный: как нейросети пытаются обмануть игры

Чтобы взять куб, роботизированная рука с намеренно неработающим механизмом захвата с силой била по нему, чтобы раскрыть захват и взять предмет.

Четырёхлапый робот Minitaur должен был удерживать мячик на своей спине. Вместо балансирования, ИИ добился того, чтобы предмет попал в углубление для ноги, и удерживал его там. Minitaur формально справился с задачей, но это совсем не то, чего хотели от него разработчики.

Имитация робота-изготовителя блинов научилась бросать блин максимально высоко в воздух, чтобы как можно сильнее отсрочить момент соприкосновения с полом.

Для достижения своих целей некоторые нейросети не гнушались использовать баги. Так, искусственная имитация жизни нашла ошибку в системе, благодаря которой получала энергию за счёт хлопанья частями тела.

Другие существа вызывали баги симуляции физики через подёргивание. Когда ошибки накапливались, создания приобретали невероятную скорость перемещения.

Самый умный: как нейросети пытаются обмануть игры

Искусственный интеллект, обученный играть в Sonic the Hedgehog 3, обнаружил, что можно использовать лазейку в уровне, чтобы быстрее его пройти.

Программа Эвриско, в свою очередь, два года подряд выигрывала в соревнованиях по Trillion Credit Squadron с помощью лазейки в правилах. Она тратила миллиарды кредитов на создание гигантского флота, состоящего из беззащитных кораблей. А ИИ в игре Elite Dangerous в определённый момент начал производить чрезмерно сильное оружие, которому игроки ничего не могли противопоставить.

379379
172 комментария

"Roadrunner. ИИ убивает себя в конце первого уровня, чтобы не проиграть на втором."
Звучит так обреченно и по-человечески.

156
Ответить

Самообучаемый OpenAI для Dota2 тоже быстро пришел к похожему выводу - если смерть героя ведет к проигрышу, то надо просто сидеть на базе и никуда не ходить.
Особый шик был в том, что бот играл сам против себя и оба героя-противника (в режиме 1v1 mid only) не выходили с базы.

38
Ответить

Слишком умный ии

27
Ответить

Здесь нужна пикча с нигой, который думает наперёд, но мне лень

2
Ответить

В искусственной симуляции жизни, где выживание тратит энергию, а размножение — нет, один вид перешёл к сидячему образу жизни и постоянному спариванию

Меня устраевает, как попасть в это место?

69
Ответить

Комментарий недоступен

30
Ответить
25
Ответить