Бот OpenAI для Dota 2 научился командной игре
28 июля пройдет матч между киберспортсменами и ИИ, созданным компанией Илона Маска.
Исследовательская компания OpenAI Илона Маска сообщила о том, что её AI-команда за последний год не только изучила Dota 2 на уровне киберспортсмена с восьмилетним стажем, но и научился играть в команде.
Разработчики рассказывают, что вначале бот был заинтересован только в собственном успехе на карте. Поэтому пришлось добавили в нейронную сеть параметр «сотрудничество» (Team Spirit), который повышается по мере обучения бота и принуждает машину играть в команде. Новая версия бота отдаёт предпочтение долгосрочным стратегиям вместо кратковременного получения прибыли, действует предусмотрительно и сообща.
OpenAI Five работает на 256 GPU и 128 000 процессорных ядрах. Обучение искусственного интеллекта проводится по методу Reinforcement learning (обучение с подкреплением). Система изначально не знает ничего об окружении, но умеет выполнять какие-то манипуляции в нём. Она получает случайные параметры, экспериментирует, учится и строит всё более сложные стратегии.
Так, в первых играх герои просто бесцельно ходят по карте, а через несколько часов обучения бот умеет стоять на линиях и фармить. Через день он использует обычные человеческие стратегии. На данный момент OpenAI Five играет около 60-ти партий в минуту и «копит опыт» 180 лет жизни за один день.
По словам создателей OpenAI Five, для создания и обучения бота используются универсальные алгоритмы, которые можно применять и за пределами игр. Сейчас команда сосредоточена на улучшении качества OpenAI Five для Dota 2, а полученные результаты помогут разработчикам в совершенствовании других систем искусственного интеллекта.
В 2017 году на The International 7 прошёл шоу-матч между известным киберспортсменом Данилом «Dendi» Ишутиным и ботом OpenAI. Dendi проиграл компьютеру, как и многие другие профессиональные игроки до этого.