Как организовать работу UX-лаборатории на удалёнке — опыт Wargaming

Исследования в домашних условиях.

UX-исследования — важная часть разработки игры, позволяющая проверить те или иные её аспекты. Обычно студии создают специальные лаборатории для неё, которые позволяют следить за игроками, изолировав их от воздействия внешних факторов. Однако в период пандемии разработчикам пришлось искать новые способы проведения таких исследований. Тимлид команды UX-исследователей в Wargaming Андрей Лизун поделился опытом работы на удалёнке

Как организовать работу UX-лаборатории на удалёнке — опыт Wargaming

Два слова о назначении UX-лаборатории Wargaming

Отдел UX-исследований в Wargaming занимается качественными исследованиями пользовательского опыта. Речь идет о тестировании интерфейсов на предмет удобства использования, поиске барьеров взаимодействия, которые мешают игрокам достигать своих целей. Для этого исследователи приглашают реальных игроков в офис, предоставляют доступ к игровым обновлениям и наблюдают за тем, как они это делают. На основании этих данных делается заключение, насколько все хорошо или плохо с интерфейсами продуктов.

Немного о лаборатории Wargaming, от которой пришлось отказаться на время пандемии, и которой нам очень не хватало. В ней есть всё, чтобы осчастливить любого UX-исследователя.

  • Eye-tracker — прибор, отслеживающий взгляд игрока, их у нас несколько.
  • Биометрическое оборудование — для измерения частоты сердечных сокращений гальванической реакции кожи, нейронной активности головного мозга.
  • Зеркало Гезелла с отдельной комнатой для игрока, моделирующей домашнюю обстановку — такая комната может адаптироваться под тестирование для самых разных продуктов и платформ.
  • Отдельная комната для исследователей и заказчиков — это своего рода пульт управления нашим космическим кораблем, система голосовой связи с игроком с эффектом присутствия. Находясь в разных комнатах, игрок и модератор общаются так, как будто сидят рядом.
  • Система видеонаблюдения и захвата экрана игрока — с её помощью мы видим и записываем абсолютно всё, что происходит в комнате, да ещё и под самыми немыслимыми углами. Это очень важно для постобработки данных
  • Специализированное ПО — оно позволяет сводить все потоки данных воедино и синхронизировать их по времени.
Комната, в которой находится игрок во время исследований с применением eye-tracker. Камера устройства виднеется над монитором
Комната, в которой находится игрок во время исследований с применением eye-tracker. Камера устройства виднеется над монитором

Звучит круто, да? Вот и нам с коллегами очень нравилось пользоваться всем этим. Краеугольный камень наших исследований — это то, что мы приглашаем нашу целевую аудиторию. В тесте участвует реальный игрок, именно он и будет пользоваться нашей новинкой в будущем. Не менее важно и то, что мы проводим исследования в нашей собственной лаборатории, прямо в офисе. По крайней мере, это было важно раньше.

2020 год

Прошедший «чудесный» год подарил нам две волны коронавируса. В условиях пандемии проводить исследования в офисе стало невозможно. Под угрозой оказался один из основных принципов — проведение исследований в лаборатории. Тем не менее игровая индустрия не только не остановилась в период пандемии, но и в каком-то смысле активизировалась — а значит, нам нужно было оперативно перевести работу в удалённый режим.

Это оказалось серьёзным вызовом, ведь мы не могли остановить исследования, или снизить качество получаемых результатов. Процесс производства главного развлечения периода локдауна — компьютерных игр — не должен давать сбоев.

UX в условиях пандемии

Сложностей пандемия прибавила немало. Полностью перенести в онлайн функции лаборатории не получилось. Пришлось оставить до лучших времён использование eye-tracker и биометрического оборудования, а также приостановить тестирование уж очень секретных проектов. Если вдруг у читателей этой статьи есть идеи, как безопасно реализовать эти функции на удалёнке — приглашаем к дискуссии в комментариях.

Итак, перейдём к проблемам, которые удалось полностью или частично решить.

Личностный контакт, эмпатия и все такое

В нашей работе очень важно, чтобы между модератором и респондентом был личный контакт, доверие и понимание. При личном контакте в лаборатории этого можно довольно легко достичь, но при «удалённом тесте» становится куда сложнее. Общение с экраном — это совсем не то же самое, что общение с живым человеком, который сидит перед тобой.

Как организовать работу UX-лаборатории на удалёнке — опыт Wargaming

Решение: если честно, на 100% эта проблема не решается, но можно её смягчить. Уделите больше времени общению респондента и модератора до теста, пусть они пообщаются в два-три раза дольше, чем перед аналогичным этапом во время теста в лаборатории. По возможности дайте модератору и респонденту познакомиться ещё до теста.

Связь с игроком

В UX-исследованиях крайне важно слышать игрока и понимать что он говорит. Не в смысле «чувствовать эмоционально» (хотя и это тоже), а в буквальном смысле. Общение — основной наш инструмент. В лаборатории этому уделено особое внимание. Игрок и модератор находятся в разных комнатах, но слышат друг друга без задержек и кристально чисто.

Когда же мы начали тестировать удалённо — начались проблемы. На первых тестах у игроков со звуком случалось вообще всё, что можно только представить: не работали микрофоны, были прерывания, было слишком тихо, появлялись шипения и прочие неприятности.

Общение с игроком через систему аудиосвязи во время исследования в лабораторных условиях
Общение с игроком через систему аудиосвязи во время исследования в лабораторных условиях

Решение: во-первых, мы стали связываться с респондентом до теста и устраивать техническую проверку связи, стабильности соединения и так далее. Это происходит за пару часов до теста, или даже ещё раньше. Если на этой проверке появлялась какая-либо проблема, то мы помогали респонденту её решить.

Во-вторых, если проблему со звуком решить не получалось, то мы использовали заготовленный ранее вариант сценария теста с минимальным количеством разговоров с респондентом. Раз есть проблемы с общением — давайте сведём это общение к минимуму.

Безопасность передачи объектов исследования

В основном мы тестируем игры и фичи, которые ещё не вышли в релиз. Естественно, это всё секретные вещи, которые очень важно не слить в сеть. В лабе у нас всё безопасно: игрок никак не может с собой унести объект исследования, что-то сфотографировать или записать видео. При этом нам сначала было не понятно, как на удалённом тесте безопасно дать игроку возможность работать с интерфейсами или играть бои, при этом не передавая ему дорелизный билд.

Решение: и вот тут появляется истинный герой 2020 года — Zoom. С его помощью модератор связывается с респондентом. На компьютере модератора запускается объект тестирования, после чего управление передается игроку. Таким образом, игрок работает с интерфейсами на компьютере модератора, мы ничего не передаём на компьютер игрока и у него не остается никаких исходников.

Передача управления в Zoom
Передача управления в Zoom

Сложнее обстоят дела, когда нам нужно, чтобы игрок во время теста выходил в бои. Передача управления в Zoom очень плохо работает в таких ситуациях — комфортно играть очень тяжело, сильно проседает FPS. Для таких случаев мы используем программу удалённого доступа.

Интерфейс Parsec
Интерфейс Parsec

Это ПО даёт удалённый доступ к компьютеру модератора, где и запускается бой. Parsec работает значительно лучше, чем Zoom в плане комфорта игры.

Ведение протокола

В лаборатории есть специальный софт для ведения протокола исследования, который синхронизируется с видео. При обработке информации это позволяет быстро переходить к моменту теста, к которому был сделан комментарий.

Это очень упрощает процесс: например, во время теста мы увидели что-то странное и модератор сделал пометку, что нужно этот кусок видео пересмотреть. На этапе обработки модератор видит этот комментарий, в один клик открывает нужный момент видео и пересматривает. В удалённых тестах такое ПО недоступно.

Из-за зеркала исследователь наблюдает за респондентом и ведёт протокол
Из-за зеркала исследователь наблюдает за респондентом и ведёт протокол

Решение: всё на самом деле очень просто — нужно только быть «уверенным пользователем Microsoft Office». Во-первых, нужно сделать возможность простановки таймкода одной кнопкой. Например, это можно сделать макросами в Excel.

Во-вторых, нужно определить момент в сценарии, по которому на этапе обработки будет синхронизироваться видео и протокол. В самом простом варианте реализации это выглядит так: запускаем запись видео, ждём момента, по которому будем выравнивать видео и протокол (например, игрок нажимает кнопку Login), одновременно с нажатием кнопки модератор создаёт событие в протоколе с указанием его времени. Перед обработкой нужно выровнять тайминги.

В итоге у нас на руках есть видеофайл и протокол событий с указанием времени по часам системы. Теперь нужно синхронизировать время в видеофайле и протоколе. Находим в протоколе событие нажатия кнопки Login (например, время там 11:45:33), и смотрим, какое время этого события в видеофайле (например это 23 секунда видео). Пишем простую формулу в «экселе», которая поменяет время в протоколе с 11:45:33 на 00:00:23 и поменяет все другие последующие времена. Вуаля, в нашем протоколе все события соответствуют времени в видеофайле.

Настройка компьютера игрока

У наших респондентов могут быть очень разные сетапы «железа» по производительности и настройкам. В лаборатории респонденты пользуются нашими проверенными компьютерами, а дома может быть всё, что угодно. Например, игра не запустится или будет глючить, не окажется нужного компонента системы или кодека, или ещё что-нибудь произойдёт.

Минимальные системные требования для WoT. Достаточно низкие, чтобы можно было без труда набирать респондентов на тест
Минимальные системные требования для WoT. Достаточно низкие, чтобы можно было без труда набирать респондентов на тест

Решение: во-первых, заранее устраиваем проверку компьютера перед тестом. Проверяем производительность и наличие нужных компонентов системы, звук и видео — всё, что критично для проведения теста. Во-вторых, ещё на этапе рекрутинга респондентов добавляем в рекрутинговую анкету или передаем рекрутинговому агентству требования к компьютерам респондентов.

Неудобные артефакты у респондента на компьютере

Во время теста бывают неловкие моменты, когда в трансляцию теста во время шаринга экрана респондента попадает всякое разное с рабочего стола игрока: например, личная переписка, неловкие картинки или видео, которое респондент не хотел бы нам показывать. Если такое происходит, то респондент смущается и чувствует себя неловко. Это выбивает его из колеи и отвлекает от исследования.

Решение: до теста рассказываем респонденту, что именно будет видно модератеру во время теста — например, рабочий стол или окна браузера. Исходя из этого просим респондента подчистить всё, что не должно попасть в кадр, и просим отключить мессенджеры.

Контроль респондентов и массовки

В лаборатории респондентов достаточно просто контролировать.Они ведут себя предсказуемо и выполняют те действия, что необходимы для проведения исследования. Дома же респонденты более раскованны — например, могут встать и уйти на балкон покурить во время теста, потому что привыкли так делать во время игры. Это, мягко говоря, не очень положительно влияет на соблюдение регламента исследования.

Наблюдение за респондентами в условиях лаборатории
Наблюдение за респондентами в условиях лаборатории

Решение: заранее очень подробно и доходчиво рассказываем респондентам, что им нельзя отвлекаться во время теста. Не стесняйтесь попросить респондентов сделать все свои дела до тестовой сессии — например, сходить покурить или в туалет.

Ещё стоит до теста попросить респондента обосноваться в отдельной комнате и закрыть дверь, чтобы кошки и дети не мешали процессу. Акцентируем внимание на том, чтобы респондент постарался выбрать вариант, при котором параллельно с тестом в помещении никто не мог включить телевизор или фоновую музыку.

Иногда бывали случаи, когда обстановка не очень способствовала проведению исследования — например, на одном из тестов респондент сидел на балконе с бутылкой вина. Сложный был тест, модератору тоже захотелось бокальчик.

Сейчас будет пара проблем, которые могут возникнуть как у игроков, так и у модераторов, но решение у нас есть только для модераторов. Если у вас есть предложения, как решить эти проблемы и на стороне игрока — будем очень благодарны увидеть их в комментариях!

Соседи с перфораторами в руках

В офисной лаборатории никаких шумных соседей нет — она располагается обособленно, а наиболее любопытных коллег останавливает красная лампочка и надпись «Не входить, идет исследование». Сейчас же все участники исследований работают из дома. Как и в любом доме у них есть соседи, которые, как правило, в самое неподходящее время делают ремонт. Это происходит в любое время суток, непредсказуемо. Естественно, звук перфоратора сильно мешает общаться с игроком.

Как организовать работу UX-лаборатории на удалёнке — опыт Wargaming

Решение: Есть два варианта, способные локализовать проблему на стороне модератора. Вариант номер один — работать в паре. На тесте работают два исследователя, которые в случае необходимости меняются местами. Вариант номер два — перед тестом подготовить мобильный сетап с ноутбуком, который можно взять с собой, уйти из дома и провести тестовую сессию из офиса, из съемной переговорки или на крайний случай из тихой кафешки.

Отключение света и интернета

Наши электросети не отличаются стабильностью. Если отключают электричество, а модератор к этому не готов то тестовой сессии не будет.

Решение: логично — используем источник бесперебойного питания такой ёмкости, чтобы заряда хватило на всю тестовую сессию от начала до конца.

Также через этот источник бесперебойного питания запитываем не только компьютер, но и модемы с роутерами. Если подключение к интернету невозможно обезопасить от отключения электричества, то предусматриваем альтернативный источник — например мобильный интернет, который можно быстро подключить к вашему сетапу.

Вместо вывода

В конце хотелось бы отметить, что некоторые положительные стороны у удалённых тестов всё же есть — это не только борьба с трудностями отсутствия лаборатории, но и новые возможности. Например, мы существенно расширили географию респондентов. При тестировании в лаборатории мы ограничены Минском и близлежащими городами, а сейчас можно привлекать людей и из более отдаленных локаций.

А, по-вашему, какие ещё возможности для исследований появились во время всеобщей удаленки?

5858
11 комментариев

Если игрок не может приехать в лабороторию, то лабу можно привезти к нему. Бюджет, думаю, позволяет.

Настроенный системник с монитором и периферией отправляется на сьемную квартиру с интернетом или другое подходящее помещение, все заливается антисептиком, просвечивается ультрафиолетом, ставится прозрачный экран между модератором и игроком (ковид же), все датчики оборачиваются одноразовыми заглушками (таеими пользуются для пробы VR очков).
Комп ваш, или взятый в аренду на время тестов, билд на внешнем винте + флешка с прогой для аннигиляции всех данных на винте ( у ССР попросите).
Проблема с соседом решается с помощью пиццы. Присылаете одну с запиской "Дружище, отложи дрель на часок, за тишину пришлем еще одну пиццу через час. Варгейминг"

3
Ответить

Статья сама по себе может и неплоха, но ценность статьи в рамках рассматриваемой игры около нулевая, учитывая принципы работы варгеев.
В статейке ведь есть картинка с загрузочным экраном игры. Т.е. варгей, который писал это, нарочно вставил картинку с самой своей популярной игрой, чтобы текст прочно ассоциировался с этой игрой. Очевидная манипуляция - мол вот, смотрите, какие мы крутые молодцы. Исследуем и улучшаем пользовательский опыт даже в условиях пандемии. Но реальный выхлоп от этого исследования - пшик. Максимум сдвинут какую-нибудь кнопку на пару пикселей в сторону. Бабло оприходовано, отчётик отправлен куда надо, статейка размещена, Вислый может даже премию выпишет.
Любой может в этом убедиться. Достаточно посмотреть видео с игрой сегодня, вчера, месяц назад, год назад, два, пять... И убедиться, что ровным счётом ничего не изменилось. Но исследования идут, бабло утекает.
И поскольку варгей сам ссылается на свою игру, я имею полное право рассматривать эту заказную статейку, которая размещена здесь больше в рекламных целях, в разрезе той игры, на которую варгей сослался. А так как положительных изменений нет на основе проведённых исследований, то ценность этой статьи равна нулю.
Можете дальше обожать профильный ресурс, на котором под видом серьёзной работы подсовывают рекламу.

Убогий интерфейс игры во время боя всегда объяснялся киберспортом - все должны быть в равных условиях, но Вислый давно отказался от идеи киберспорта, а изменений нет.
Любой вменяемый человек сразу после установки игры скачает и установит какой-нибудь модпак, в котором и цвета меняются, и шрифты более читабельны, и ещё куча всего добавляется. Более того, почти все изменения в интерфейсе, которые произошли за 10 лет, взяты из этих модпаков. Тогда смысл в этих исследованиях, если изменения берутся из модпаков? В тему обсуждения модпака заходишь и читаешь, что людям удобно, а что нет, на что они отвлекаются. 

2
Ответить

Спасибо за интересный материал.

Изменилось ли как-то качество исследований, когда вы потеряли доступ к ай-трекеру, биометрическим датчикам и прочему лобароторному оборудованию?

1
Ответить

Сложно однозначно ответить на этот вопрос. Мы не потеряли качество, но потеряли часть, которую могли бы проверить, и не получили часть полезных данных, которые могли бы собрать в иной ситуации.

В целом, мы как и раньше смогли отвечать на основные вопросы наших продуктовых команд. Потеря айтрекера не помешала нам проверять качество пользовательского опыта. Но да, конечно, с айтрекером лучше, точнее находки, больше полезных данных, которые дают понимание, почему произошел барьер взаимодействия.

Ответить

Только интерфейс там с обновлениями становится более убогим)

1
Ответить

Целый офис сидит на таких фиговеньких стульях? Я думал там по аерону/миллеру у каждого работника. 

Ответить