Ловим баги: как повысить эффективность игрового тестирования в полтора раза

Руководитель отдела тестирования локализации компании Allcorrect Дарья Творилова подготовила статью, в которой поделилась секретами организации работы с тестировщиками при проверке качества перевода игр.

В рамках локализационного тестирования проверяются переводы и отображение текста в игре. Это делается, чтобы повысить качество работы. Ну и, как следствие, увеличить количество довольных игроков. Тестирование локализации — это очень узкая область, где всегда довольно много проблем.

Сегодня я хочу рассказать о процессе обучения внештатных тестировщиков в Allcorrect. Что-то, возможно, будет очевидным, и это не удивительно. Ведь все гениальное просто. Ну а что-то наверняка окажется полезно.

Первое — и далеко не самое очевидное, с чем мы сталкивались, — уже имеющейся команде тестировщиков сложно работать с разрозненной информацией.

У каждого проекта есть очень много дополнительных материалов.

Как видно, если пройти по ссылкам на необходимые документы, можно найти тест-план, описание работы чит-системы и самой механики игры, важные особенности и так далее. И я не говорю сейчас о специфической для каждого проекта информации, которую мы получаем отдельно. Например, что на определенном этапе тестирования не нужно обращать внимание на какие-нибудь странные картинки.

Такая разрозненность неудобна как минимум потому, что тестировщикам приходилось открывать много разных документов (а это замедляло работу как людей, так и компьютеров). Одна часть информации могла затеряться, а другая — продублироваться. А еще много всего не было зафиксировано нигде, и передавалось только на словах.

В итоге страдали все: и тестировщики, и менеджеры. И качество тоже страдало.

С прошлого года мы активно вели набор дополнительных сотрудников, так как объемы работы увеличились. И, конечно же, возник вопрос, как передать весь этот объем знаний новым исполнителям. Не секрет, что локализационным тестированием зачастую начинают заниматься переводчики. Некоторые из них, при всей любви к видеоиграм, не очень хорошо разбираются в технической части. Кто-то и вовсе уверен, что нужно просто играть в игры. На деле тестирование оборачивалось для них огромным количеством разрозненных кусочков информации, изобилующей специфическими терминами и непонятными манипуляциями с играми. В результате многие сталкивались с серьезными проблемами.

Во-первых, у действующей команды тестировщиков возникали ошибки из-за того, что материал сложно было воспринимать, а порой необходимая информация и вовсе отсутствовала. Количество замечаний составляло 5,66% от общего числа багов, а это нельзя назвать удовлетворительным показателем.

Во-вторых, «порог вхождения» для новых тестировщиков оказался очень высок. Это вызвало сильный отток исполнителей. Дело в том, что тестировщикам приходится совмещать лингвистические и технические компетенции. Переводчикам привычней иметь дело с языковой сферой, поэтому вторая составляющая работы и заставляла их сталкиваться с неожиданными сложностями.

Менеджерам также приходилось тратить много времени на то, чтобы проконсультировать по одним и тем же вопросам каждого нового исполнителя.

В первую очередь перед нами встал вопрос о том, как организовать образовательный процесс и систематизировать материалы по проектам, которые мы ведем.

Чтобы сделать обучение исполнителей эффективней, было решено использовать сразу две системы: Confluence и Jira. Почему мы выбрали их?

Для подобных нужд совсем не обязательно использовать именно эти инструменты. Существует масса аналогичных систем отслеживания ошибок, обращаться можно к любым.

Наш выбор объясняется просто: мы изначально хотели, чтобы тестировщики практиковались в использовании именно той системы, с которой работает большинство заказчиков.

Одна из возможностей Confluence — организация структурированного хранения информации. На ее базе мы создали нечто вроде «Википедии», посвященной нашим техпроцессам.

Для каждого из проектов были подготовлены отдельные инструкции, посвященные особенностям игр, их сюжетным линиям, а также техническим вопросам (от подключения чит-кодов до видеофрагментов, демонстрирующих игровой процесс). Мы связаны условиями соглашения о неразглашении информации и не можем обсуждать реальные рабочие моменты, но вот пример такой инструкции к тестовому проекту на основе игры «Мор. Утопия».

В описании игры мы обычно ведем речь о сюжете, а также об основных персонажах и их взаимоотношениях друг с другом.

Кроме того, необходимо упомянуть там основные игровые окна и использовать в качестве примеров скриншоты.

Для новых работников мы создали как базовые инструкции по техпроцессам, так и множество полезных статей (к примеру, как правильно активировать в системе Steam нужную тестовую версию) и даже словарик для начинающих. Такие термины как HUD известны многим, но профессиональный жаргон разработчиков обширен, и периодически могут встречаться незнакомые слова.

В дополнение к этому в процесс обучения включили больше практических заданий. Тестировщики тренируются работать с «небоевыми» играми и правильно оформлять отчеты об ошибках. Мы установили параметры и настройки в системе Jira, исходя из требований основных заказчиков. Это позволяет выявлять ошибки еще на этапе обучения.

Для развития навыков тестировщиков мы подбираем игры разных жанров, с которыми обычно работаем.

Один из простейших способов найти их — Steam. В бесплатных играх всегда достаточно ошибок.

Чтобы определить, в каких знаниях у команды остались пробелы, мы регулярно проводим аттестацию. Она позволяет понять, над чем именно стоит поработать с каждым конкретным исполнителем.

Нам удалось сократить количество ошибок со стороны тестировщиков до 3,77%.

Снизился и отток новых сотрудников, потому что им стало легче втягиваться в работу.

В довершение, менеджеры существенно экономят время на обучении тестировщиков, ведь большое количество материалов позволяет повышать свой уровень самостоятельно.

Отзывы исполнителей свидетельствуют, что и им самим удобнее с такой системой. Это тоже немаловажная часть процесса — сделать так, чтобы тестировщикам стало проще работать с теми материалами, которые мы им предоставляем.

Если у вас остались вопросы или вы хотите, чтобы мы осветили другие темы, связанные с локализацией, напишите нам на pr@allcorrect.ru .