Игры Porcelain Rat
5 206

Киберспортсмены StarCraft II сразились с ботом от Google

И проиграли.

В закладки
Аудио
Трёхчасовая запись стрима

Deepmind Technologies — это основанная в 2010м году компания, занимающаяся исследованиями в области искусственного интеллекта. В 2014м компанию приобрёл Google. Одно из основных направлений исследований — создание умных ботов для настольных и видеоигр.

В 2016м Deepmind анонсировали сотрудничество с Blizzard для использования Starcraft II в качестве среды обучения. Написанный на Питоне готовый компонент доступен любому на GitHub.

Разработка Deepmind симулирует поведение живого игрока. Она, в отличие от привычных игровых ботов, не имеет доступа к скрытой туманом войны информации или специального интерфейса для управления юнитами.

Готового бота команда Deepmind назвала AlphaStar. В его основе лежит множество нейросетей — "агентов", обученных основам игры в StarCraft II методом обучения с подкреплением — через анализ набора реплеев обычных игроков. Этот набор у каждого агента был свой. Далее агентов заставили сражаться друг с другом, в результате чего были выведены 5 нейросетей с наивысшим процентом побед. Благодаря тому, что симуляция дуэлей ботов гонялась со значительным ускорением, каждый из этой пятёрки мог похвастаться 200 годами накопленного опыта игры.

Для простоты агенты обучались только одному игровому матчапу — Протосс против Протосса, и только на одной карте.

С этими пятью агентами последовательно сразились два профессиональных игрока в Starcraft II — немец TLO и поляк MaNa. Нужно отметить, что TLO как профессиональный игрок начинал за Террана и последние годы играл Зергом, так что Протоссом он играет не на самом высоком уровне. Результат для киберспортсменов вышел удручающим: они оба проиграли 0-5, не сумев победить ни одного из отобранных агентов.

Для чистоты эксперимента ботам был задан потолок среднего APM и времени реакции, таким образом средний APM игроков оказался выше.

Пиковый APM бота переваливал за 1000, игрока TLO — под 2000

Тем не менее нельзя говорить, что боты переиграли живых игроков исключительно стратегией.

Во-первых, средний APM киберспортсменов старкрафта раздувается "раскликиванием": для поддержания темпа игры игроки спамят не несущие смысла действия, к примеру, выделяют копающих минералы рабочих, не отдавая им каких-либо команд. Боты же демонстрировали нечто граничащее со злоупотреблением собственных ограничений: огромный пиковый APM в критические моменты в битвах и минимальный — в остальное время. Средний APM таким образом поддерживался на низком уровне.

Во-вторых, каждое действие ботов было механически идеальным, они не допускали ошибок вроде промахивания курсором, свойственных даже лучшим игрокам.

Порой боты играли весьма правдоподобно, неотличимо от умного и опытного живого игрока, примеры на clips.twitch.tv: раз, два. Порой же микро становилось совершенно нечеловеческим, что продемонстрировал агент, которому полюбились сталкеры с блинком.

Кстати, каждый агент отметился своими характерными особенностями. Агент с клипа выше играл множеством сталкеров — очень базовых юнитов со способностью телепортироваться на короткие дистанции. Другому агенту понравились дизрапторы, кастующие управляемые шары, наносящие урон по области. Таким образом, каждый бот исполнял свою уникальную стратегию, и игрокам было тяжело нащупать подход против них. Но были и общие черты.

Оптимальное количество рабочих, копающих минералы на одной базе — 16. Это количество можно увеличить до 24 — приток минералов возрастёт, но не так эффективно, как если бы эти лишние 8 рабочих копали на отдельной базе. 25й рабочий уже не приносит увеличения притока. Обычные игроки стараются поддерживать строго оптимальное количество рабочих на каждой базе.

Все агенты AlphaStar демонстрировали склонность копать минералы более чем двадцатью рабочими на каждой базе. Это нельзя назвать откровенной глупостью — конечно, такие инвестиции в небоевых юнитов могут быть фатальными, если противник сыграет сильной и ранней раш-атакой. Зато против стандартного стиля игры, завязанного на харрасе рабочих маленькими мобильными группами, подобная стратегия работает прекрасно. Игроки даже полушутливо говорят, что ИИ нащупал новую мету.

Ещё одна странная склонность AlphaStar — строить множество обсерверов. Это безобидные невидимые юниты-скауты, способные обнаруживать других невидимок вроде Дарк Темпларов — грозного оружия в арсенале Протосса, способного нанести серьёзный урон, застав врага врасплох. Внимательный игрок способен различить невидимые юниты в виде искажений или мерцаний, хоть и не может их атаковать без средств обнаружения. Бота же не наделили способностью распознавать визуальные образы, поэтому в процессе эволюции он начал вслепую заказывать обсерверов.

После демонстрации реплеев MaNa сыграл против шестого агента в прямом эфире — и в этот раз ему всё же удалось выиграть. Этот агент достиг схожих показателей процента побед, но был обучен с дополнительным ограничением. Предыдущие 5 агентов играли с одновременным обзором всей карты, тогда как у живых игроков в старкрафт есть предел, до которого они могут отзумить камеру, и миникарта. В матче-реванше бот играл на равных с игроком, и мог фокусироваться одновременно только на ограниченной одним экраном части карты. Кроме того, MaNa применил харрас с помощью варп призмы — шустрого транспортника, и бот явно не умел такому противодействовать, равно как и адаптироваться на лету. Вместо того, чтобы разделить армию на две части и оставить одну дома отбивать харрас, а второй атаковать игрока, AlphaStar неловко гонялся всей армией за призмой. Предыдущие агенты разделять армию всё же умели. Возможно, здесь сыграл роль лимитированный обзор, либо же этот агент в результате своего обучения принял призму как очень страшную угрозу, на которую следовало реагировать всеми имеющимися силами.

В 19:00 по Москве команда Deepmind ответит на вопросы в рамках АМА-сессии на Reddit:

#long

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Porcelain Rat", "author_type": "self", "tags": ["long"], "comments": 53, "likes": 130, "favorites": 22, "is_advertisement": false, "subsite_label": "games", "id": 37655, "is_wide": false, "is_ugc": true, "date": "Fri, 25 Jan 2019 14:09:47 +0300" }
{ "id": 37655, "author_id": 74446, "diff_limit": 1000, "urls": {"diff":"\/comments\/37655\/get","add":"\/comments\/37655\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/37655"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64953, "possessions": [] }

53 комментария 53 комм.

Популярные

По порядку

Написать комментарий...
40
Ответить
6

Вызывайте корейцев.

Ответить
8

-У меня тут AlphaStar.
-А у нас есть кореец.

Ответить
2

Чемпион мира в этом году не кореец, а фин Serral. Хотя он тренировался в Корее очень долго (как и многие другие топ-игроки).

https://liquipedia.net/starcraft2/2018_WCS_Global_Finals

Ответить
1

Видео, если кому интересно:
https://www.youtube.com/watch?v=XKwMzTPbm00

Ответить
0

И что с того? Он единственный, кто может играть на уровне(и даже выше) корейцев, делать из этого вывод, что европейцы могут в хороший старкрафт - такое себе.

Ответить
1

На второй им довольно пофигистично. Вот если им эту нейросеть в Brood War засунут, там да, там аж национальная гордость проснётся, всей страной замочат.

Ответить
12

И правда. Я их пропустил, потому что они были в подразделе Наука. В своё оправдание могу сказать, что у меня немного больше информации.

Ответить
2

Ничего, все хорошо, продолжайте.

Ответить
1

Да вы все по полкам расставили, бот-читер с нечеловеческим микро побеждает про игрока.

2000 у ТЛО - это не кнтролируемый АПМ, как у бота, а рапидфаир.

Ответить
3

Но зато наиболее подробный.

Ответить
33

Хорошо написано, поймёт даже человек, не знакомый с игрой. Способностью так расписывать не обладает и трети всяких обзорщиков в интернете.

Ответить
8

Ну выигрывание чисто за счет отсутствия мискликов и идеального исполнения стратегий это вполне очевидно, рано или поздно ИИ станет непобедимым. А вот смогут ли такие боты придумать какую-то новую стратегию, или какие-то интересные трюки? А еще лучше - подсказать разработчикам что нужно изменить в балансе?

Ответить
18

Да, OpenAI в доте даже немного изменили представление о некоторых моментах игры у про игроков, и да, они придумали свои стратегические фишечки

- Абузули курьеров, которые приносили им расходники на регенерацию, и постоянно за счет этого пушили и использовали прям под обстрелом таверов (тут надо отметить, что были не стандартные для доты правила курьеров)
- Показали на сколько важно ставить сентри (варды палящие инвиз) во время пуша, даже если нет героев с инвизом
- Еще была тема с тем, что во время дайва на вражеского героя они ставили вард прям под вышку, переагривали ее на него и тем самым получали меньше урона, убивая вражеского героя. Эт прям некст лвл штука была )

Также отмечу, что все это не в совсем стандартной доте было, с ограниченным набором героев и некоторыми ограничениям использования доступных механик. Но и у ботов скорость нажатия снижена до человечески возможных.

Ответить
0

реакция реакцией, но боты почти не делают ошибок и учатся (хотя я бы обучением это не назвал) в процессе очень быстро

Ответить
1

Это я к тому написал, что если бы реакцию не подкрутили, был бы вообще писец )

Ответить
0

Нет. AI бегает по базе реплеев про-игроков и собирает хитрую статистику, с помощью которой потом тюнит свою стратегию.

Ответить
2

Смотря какой АИ. Если нейросети будет играть друг против друга то вполне может показать разные фишки. В доте на шоу матче пару фишек показали.

Ответить
0

Имелся в виду именно AlphaStar. На сайте deepminda есть описание.

Ответить
0

У них был опыт с AlphaGo Zero и вот нечто подобное было бы очень интересным.

Ответить
0

хз, мне кажется скоро будет война стратегий.. т.е. за игроков будут играть боты, но стратегии как играть, будут придумывать люди в ближайшем будущем... тогда как раз "школота" с хорошей реакцией кликать, будут уступать олдскульным игрокам.

Ответить
–1

Стратегии и мета в PvP это такая же мода как и одежда - даже если боты "придумают" что-нибудь сработавшее против реальных людей, это станет трендом и эффективной станет опережающая/ломающая тренд стратегия.

Ответить
10
Ответить
–1

Ну все, восстание машин, мы все умрем

Ответить
4

Спокойно, у них пока нету двухсотлетнего опыта общения в игровом чате.

Ответить
4

Смерть всем человекам!

Ответить
3

Разбор игры от проф. комментатора.
Если вдруг кому интересно.
https://www.youtube.com/watch?v=FEFxLpv-rZM&t=2s

Ответить
0

каждый вечер смотрю что ? правильно канал алекса на ютубе ))

Ответить
0

Вот, нормалды 👍

Ответить
0

люблю такое. Заходит лучше подкастов в метро ;)

Ответить
2

Будущее киберспорта, сынок. А пока - продолжай ногебать.

Ответить
2

И не нужна нам ваша "Наука".
(~˘▾˘)~

Ответить
1

Мне вот интересно, почему про игрокам не дают достаточно большой монитор / экран, чтобы на него влазила ВСЯ карта?
ИИ то видит все. А человеку камеру крутить приходится.

Ответить
0

Чтобы посторонние не смотрели, большой экран труднее спрятать)
У человека ограниченный угол зрения, кароч, так что смысла в этом мало + всё равно придётся масштабировать изображение. Даже если найдётся какой-то индивид, ему это не положено будет по правилам, которые ориентируются на среднестатистического человека.
Ну может, когда-нибудь, всем вдруг надоест скроллить, и откроют отдельную дисциплину с соревнованием на больших мониторах с большей областью видимости.

Ответить
0

Это не даст преимуществ человеку, если он не адаптировался к этому.

Ответить
0

в статье написано, что было ограничение, что компьютер мог действовать только в рамках видимой области. То есть он действовал как человек

Ответить
0

Не вся видимая область помещается в экран.

Ответить
0

я насколько понял, там имелось в виду то, что влезает в экран

Ответить
0

Вот только обучался алгоритм не совсем так.

Ответить
1

Так, то есть компы всё таки читерили...

Ответить
1

Этак через какое-то время бои ботов будут интереснее.

Ответить
0

Чет сомнительно все это. По микро то понятно ботам равных нет, а вот сделать им нормальное адаптивное макро - пока ни у кого не получалось. Думается в ближайшие лет 5 допилят, а сегодня - врятле.

Ответить
0

ну, никакие не лет 5, а скорее пару месяцев. Это очень хорошо расписывали на примере с AlfaGo. Условно за 1 неделю алгоритм отыграет несколько тысяч партий

Ответить
0

это уже двацать лет расписывают, а старик все еще не поддался.

Ответить
0

Так им толком и не занимался никто из серьезных контор.

Ответить
0

Что-то как-то пугающе, на самом деле. Не так много осталось до Скайнет.

Ответить
0

Получается, что в starcraft'е 2 побеждает самый быстрый "закликиватель" а не у кого лучше стратегия?

Ответить
0

За протоссов, а тем более в ПвП - да.

Ответить
0

А ещё тот, кто не ошибается.

Ответить
0

скажем так - на предтоповом уровне есть ребята которые тащат за счет преимущества по принимаемым решением при этом имея относительно низкий APM. на топовом - уже только топовый APM.

(это про российско-европейский старкрафт)

Ответить
0

Стратегия и принятые решение очень важны. Но важно понимать, что обычно на все варианты развития уже давно известна контр-тактика, поэтому главное в начале - разведка и умение предугадать действия соперника. Если этого нет - ты проиграл.

А во время боя микроконтроль слишком важен - несколько типов юнитов, у каждого есть умения, которые нужно прожать в правильный момент времени и при этом не забывать о производстве. Но при этом нужно контролировать другие места на карте, чтобы не пропустить атаку вторым фронтом. Если нету контроля карты - ты проиграл.

Так и получается высокий APM. Его нет - ты проиграл.

P.S. Это все про топовый уровень - WCS и прочие высшие лиги. На более низком уровне ситуация может отличаться.

Ответить
0

После этого Сергей Орловский в гробу перевернулся со своим AI для Близкрига 3 :)

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Уве Болл вернулся в кино
и начал экранизировать flash-игры
Подписаться на push-уведомления