«Как я пытался испортить Halo 2»: рассказ бывшего исследователя Microsoft
История о том, что исследованиям не всегда стоит доверять, а люди не умеют предсказывать свои эмоции.
2 июля 2019 аналитик и исследователь поведения игроков Джон Хопсон, работавший над такими играми как Halo, Age of Empires, Destiny, World of Warcraft, Overwatch и Hearthstone опубликовал колонку на Polygon, в которой поделился историей о том, как он «пытался испортить Halo 2». Выбрали самое интересное.
В мультиплеере Halo 2 разработчики решили ввести новую систему матчмейкинга — никаких отдельных лобби, работающих по уникальным правилам; лишь кнопка «найти матч» и алгоритм, подбирающий подходящих противников. На тот момент такая система, привычная современным игрокам, была в диковинку — и после релиза игры стала обсуждаться как одна из её главных особенностей.
Хопсону и его напарнику поставили задачу выяснить, насколько новая система будет понятна игрокам. На первом этапе тестирование происходило при помощи бумажных прототипов и текстовых описаний.
Практически ото всех тестировщиков аналитики получили примерно одинаковый ответ: «Мы понимаем, как работает эта система, но мы её ненавидим». Почти все заявляли, что в игре необходима возможность выбрать лобби, а установка «нажми одну кнопку и доверься нам» казалась им странной и неприятной. У игроков отнимали контроль в той области, в которой они привыкли им обладать.
Хопсон отправился к руководству Bungie и заявил, что игроки возненавидели новую систему, и что её нужно немедленно поменять. В этот момент аналитик ощущал себя провозвестником воли игроков, призванным защитить их от столь неприятных им решений геймдизайнеров. Однако разработчики Bungie проявили упорство: они отказались менять матчмейкинг на основании негативного фидбека и принялись убеждать Хопсона в том, что эта новая система гораздо лучше традиционной.
В итоге разработчики оказались правы. Матчмейкинг из Halo 2 полюбился игрокам и постепенно стал стандартом для индустрии. Этот просчёт Хопсон называет «единственной настолько крупной ошибкой в своей карьере» — и, конечно же, он не раз задавался вопросом, о том, как так получилось. В результате его размышлений и родился этот анализ.
Предсказания аналитиков настолько сильно разошлись с реальностью из-за двух фундаментальных ошибок: одну допустили сами исследователи, другую — испытуемые.
Известно, что люди практически не способны прогнозировать свои эмоции — на вопрос «как бы вы почувствовали себя, окажись вы в такой-то ситуации», большинство ответит абсолютно неверно. Эта особенность человеческой психики хорошо известна исследователям, и поэтому подобных опросов обычно никто не проводит.
По словам Хопсона, если бы на момент, когда он анализировал систему матчмейкинга из Halo 2, кто-то сказал бы ему, что он требует от респондентов прогнозировать их эмоции, он бы уверенно ответил, что он этим не занимается. Его исследование должно было дать ответ на вопрос «поймут ли игроки, как работает эта система» — и на такой вопрос действительно можно было легко ответить при помощи тестирования на прототипах.
Ошибка заключалась в следующем: исследователи не смогли вовремя остановиться и отделить ценные данные от бесполезных. Сначала тестируемые предоставляли аналитикам ценные данные (понимаю/не понимаю), а затем перешли к прогнозированию эмоций (мне это понравилось бы/не понравилось бы). В результате и то, и другое было воспринято исследователями как ценная информация.
При этом у большого количества негативных отзывов от игроков, как Хопсон понял позже, тоже было логическое объяснение. Тестируемые никогда не имели дела с матчмейкингом без лобби — на тот момент его просто не существовало, — и с трудом могли представить себе, как он будет работать, и в чём будут его преимущества.
Зато систему с лобби они знали хорошо и прекрасно понимали преимущества, от которых им предлагали отказаться. Эта разница восприятии (гипотетическое незнакомое против реального знакомого) и привела к столь массовому неприятию новой системы.
По словам Хопсона, за годы работы он привык произносить фразу «ну я же говорил» после каждого нового релиза. В случае с Halo 2 всё было иначе — теперь пришла очередь разработчиков говорить эту фразу. Уже после релиза один из сотрудников Bungie по секрету сказал Хопсону, что команда была настолько уверена в своей системе, что не могло быть таких данных, которые заставили бы разработчиков свернуть с намеченного пути.
Аналитик считает, что информация о реакции игроков могла бы быть ценной, если бы исследователи использовали их иначе. Вместо того, чтобы пытаться убедить разработчиков в том, что они создают плохую систему, можно было сформулировать проблему так: «Вот, что говорят люди, когда впервые слышат о вашей системе. Давайте подумаем, как можно было бы создать у них более приятное первое впечатление и сделать процесс понимания её преимуществ более быстрым».
По словам Хопсона, из случившегося можно вынести четыре урока. Во-первых, исследователям стоит перестать относиться к своим изысканиям как к абсолютной истине — несмотря на то, что обычно аналитики оказываются правы, не стоит забывать о вероятности критической ошибки. Хопсон считает, что если предсказания аналитиков всегда сбываются, это означает лишь то, что в индустрии недостаточно инноваций и рискованных проектов.
Во-вторых, критическая ошибка для аналитика — не конец света. Работодатель не ожидает от вас, что вы будете работать идеально. После провального предсказания о Halo 2 Хопсона взяли работать над Halo 3, а затем он был нанят непосредственно Bungie.
Третий урок — иногда геймдизайнеры могут придумать нечто настолько инновационное и непохожее на то, что было раньше, что предсказать успех или провал этой идеи, основываясь на существующих данных и отзывах игроков, будет крайне сложно.
Наконец, после случая с Halo 2 Хопсон признал свою ошибку и перестал воспринимать мнения игроков как истину в последней инстанции. Четвёртый и главный урок — на собственных ошибках необходимо учиться. Если бы провала с Halo 2 не случилось, сейчас Хопсон был бы чуть менее профессионален.