Gamedev Tanya Veryasova
3 381

Ловим баги: как повысить эффективность игрового тестирования в полтора раза

Руководитель отдела тестирования локализации компании Allcorrect Дарья Творилова подготовила статью, в которой поделилась секретами организации работы с тестировщиками при проверке качества перевода игр.

В закладки
Аудио

В рамках локализационного тестирования проверяются переводы и отображение текста в игре. Это делается, чтобы повысить качество работы. Ну и, как следствие, увеличить количество довольных игроков. Тестирование локализации — это очень узкая область, где всегда довольно много проблем.

Сегодня я хочу рассказать о процессе обучения внештатных тестировщиков в Allcorrect. Что-то, возможно, будет очевидным, и это не удивительно. Ведь все гениальное просто. Ну а что-то наверняка окажется полезно.

С какими проблемами нам пришлось иметь дело?

Первое — и далеко не самое очевидное, с чем мы сталкивались, — уже имеющейся команде тестировщиков сложно работать с разрозненной информацией.

У каждого проекта есть очень много дополнительных материалов.

Для того, чтобы вникнуть в работу, у тестировщиков уходило очень много времени.

Как видно, если пройти по ссылкам на необходимые документы, можно найти тест-план, описание работы чит-системы и самой механики игры, важные особенности и так далее. И я не говорю сейчас о специфической для каждого проекта информации, которую мы получаем отдельно. Например, что на определенном этапе тестирования не нужно обращать внимание на какие-нибудь странные картинки.

Такая разрозненность неудобна как минимум потому, что тестировщикам приходилось открывать много разных документов (а это замедляло работу как людей, так и компьютеров). Одна часть информации могла затеряться, а другая — продублироваться. А еще много всего не было зафиксировано нигде, и передавалось только на словах.

В итоге страдали все: и тестировщики, и менеджеры. И качество тоже страдало.

С прошлого года мы активно вели набор дополнительных сотрудников, так как объемы работы увеличились. И, конечно же, возник вопрос, как передать весь этот объем знаний новым исполнителям. Не секрет, что локализационным тестированием зачастую начинают заниматься переводчики. Некоторые из них, при всей любви к видеоиграм, не очень хорошо разбираются в технической части. Кто-то и вовсе уверен, что нужно просто играть в игры. На деле тестирование оборачивалось для них огромным количеством разрозненных кусочков информации, изобилующей специфическими терминами и непонятными манипуляциями с играми. В результате многие сталкивались с серьезными проблемами.

К чему это приводило?

Во-первых, у действующей команды тестировщиков возникали ошибки из-за того, что материал сложно было воспринимать, а порой необходимая информация и вовсе отсутствовала. Количество замечаний составляло 5,66% от общего числа багов, а это нельзя назвать удовлетворительным показателем.

Во-вторых, «порог вхождения» для новых тестировщиков оказался очень высок. Это вызвало сильный отток исполнителей. Дело в том, что тестировщикам приходится совмещать лингвистические и технические компетенции. Переводчикам привычней иметь дело с языковой сферой, поэтому вторая составляющая работы и заставляла их сталкиваться с неожиданными сложностями.


Менеджерам также приходилось тратить много времени на то, чтобы проконсультировать по одним и тем же вопросам каждого нового исполнителя.

Как мы решили эту проблему?

В первую очередь перед нами встал вопрос о том, как организовать образовательный процесс и систематизировать материалы по проектам, которые мы ведем.

Чтобы сделать обучение исполнителей эффективней, было решено использовать сразу две системы: Confluence и Jira. Почему мы выбрали их?

Для подобных нужд совсем не обязательно использовать именно эти инструменты. Существует масса аналогичных систем отслеживания ошибок, обращаться можно к любым.

Наш выбор объясняется просто: мы изначально хотели, чтобы тестировщики практиковались в использовании именно той системы, с которой работает большинство заказчиков.

Одна из возможностей Confluence — организация структурированного хранения информации. На ее базе мы создали нечто вроде «Википедии», посвященной нашим техпроцессам.

Для каждого из проектов были подготовлены отдельные инструкции, посвященные особенностям игр, их сюжетным линиям, а также техническим вопросам (от подключения чит-кодов до видеофрагментов, демонстрирующих игровой процесс). Мы связаны условиями соглашения о неразглашении информации и не можем обсуждать реальные рабочие моменты, но вот пример такой инструкции к тестовому проекту на основе игры «Мор. Утопия».

В описании игры мы обычно ведем речь о сюжете, а также об основных персонажах и их взаимоотношениях друг с другом.


Кроме того, необходимо упомянуть там основные игровые окна и использовать в качестве примеров скриншоты.

Для новых работников мы создали как базовые инструкции по техпроцессам, так и множество полезных статей (к примеру, как правильно активировать в системе Steam нужную тестовую версию) и даже словарик для начинающих. Такие термины как HUD известны многим, но профессиональный жаргон разработчиков обширен, и периодически могут встречаться незнакомые слова.

В дополнение к этому в процесс обучения включили больше практических заданий. Тестировщики тренируются работать с «небоевыми» играми и правильно оформлять отчеты об ошибках. Мы установили параметры и настройки в системе Jira, исходя из требований основных заказчиков. Это позволяет выявлять ошибки еще на этапе обучения.

Для развития навыков тестировщиков мы подбираем игры разных жанров, с которыми обычно работаем.

Один из простейших способов найти их — Steam. В бесплатных играх всегда достаточно ошибок.

Чтобы определить, в каких знаниях у команды остались пробелы, мы регулярно проводим аттестацию. Она позволяет понять, над чем именно стоит поработать с каждым конкретным исполнителем.

Что в итоге?

Нам удалось сократить количество ошибок со стороны тестировщиков до 3,77%.

Снизился и отток новых сотрудников, потому что им стало легче втягиваться в работу.

В довершение, менеджеры существенно экономят время на обучении тестировщиков, ведь большое количество материалов позволяет повышать свой уровень самостоятельно.

Отзывы исполнителей свидетельствуют, что и им самим удобнее с такой системой. Это тоже немаловажная часть процесса — сделать так, чтобы тестировщикам стало проще работать с теми материалами, которые мы им предоставляем.

Если у вас остались вопросы или вы хотите, чтобы мы осветили другие темы, связанные с локализацией, напишите нам на pr@allcorrect.ru .

#long

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Tanya Veryasova", "author_type": "self", "tags": ["long"], "comments": 38, "likes": 38, "favorites": 105, "is_advertisement": false, "subsite_label": "gamedev", "id": 36840, "is_wide": false, "is_ugc": true, "date": "Thu, 17 Jan 2019 09:59:43 +0300" }
{ "id": 36840, "author_id": 51918, "diff_limit": 1000, "urls": {"diff":"\/comments\/36840\/get","add":"\/comments\/36840\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/36840"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954, "possessions": [] }

38 комментариев 38 комм.

Популярные

По порядку

Написать комментарий...
16

Просто ввели базу на конфлюенс? Это весь смысл статьи? Разве это не основа основ всегда иметь базу?

Ответить
6

Геймдев в этом плане жутко отсталый. Когда я спросил про автоматизацию, ее объявили экспериментом на брейнфаке, которому не место в промышленной разработке.

Ответить
2

И перфу на глаз мерить.) Хорошо, что не везде так.

Ответить
1

"Разве это не основа основ всегда иметь базу?"
Основа, то основа, но не все до этого доходят.

Ответить
1

Ну да, нормальная организация информации. Тоже удивился.

Ответить
4

"тестировщикам приходится совмещать лингвистические и технические компетенции" - Чего???

Тестируют своевременное появление текста на родном языке, затем проверяют помещаются ли слова в текстовые поля на других языках, всё.

С аудиофайлами тоже самое.

Ответить
4

Думал сейчас узнаю что-то новое и полезное, а вы "открыли" баг-трекер.
Тем не менее буду рад если вы продолжите делиться опытом.

Ответить
3

Работаю тестером, не игровым

Ребят, то что у вас на проекте не было базы знаний и ее эффективной передачи, как и передачи компетенций от тестеров, которые давно в проекте - это ошибка построения процесса, а так же руководства! Вопрос: есть регламент работ между подразделениями?

Вот вам лайтовый совет (да меня не просили), назначайте вновь прибывшим в вашу команду кураторов на время испытательного срока, а не пробрасывайте все через одного руководителя проекта.
А то близок будет тот день, когда в 100500 раз РП объяснит, что в каком файле лежит, и при выходе нового падавана в корридор он услышит звук высрела за дверью.

Про баг-треккер написали в другом комменте. Джира кстати мне больше всего нравится, удобная и кастомизируется не сложно.

Ответить
1

Тоже работаю как qa на обычной галере (мб +- лучше средней по Минску). И тоже прям захотелось написать, что это просто говёные процессы с гугл-доком и "записыванием на листик всех бажин".

1. Нужно нормально расписать в конфлюенсе все детали проекта (это трудно ровно до момента, когда кто-то начинает это делать, а потом резко это переходит из категории трудно, в "работы много но делается"....).

2. Написать нормальный флоу по заведению багов.

этим большинство проблем как правило решается

Ответить
1

Ну они пришли поделится с народом тем, что не понимают, что такое бизнес-процесс и как нужно организовывать работу.

Ответить
2

хорошая статья, спасибо

Ответить
2

И конкурсы интересные ...

Ответить
2

"А давайте ка добавим Аджаил"

Ответить
1

А может быть... Скрам?

Ответить
2

что то мне подсказывает что этот чувак знал как повысить эффективность игрового тестирования:

Ответить
2

В 2018 году открыть для себя Confluence и Jira. Лучше поздно, чем никогда. )

Ответить
0

Всё проходят через это))
Но обычно, это проходится за 30 минут максимум (ибо есть более опытные коллеги обычно), от Блокнота -> Гугл дока(2 трейд) -> Конфлюенса+Jira / или аналогов, например Targetprocess'a

Ответить
1

Требуется тестер для разовой работы.

Работа простая, но требует наличия нескольких машин с разными версиями Windows (7/8.1/10) или виртуальных машин.
Нужно найти один баг в игре https://www.patreon.com/gaijinsim Баг заключается в том, что при определенных условиях невозможно управлять камерой в игре или курсором вообще.
Необходимо изучить этот баг при различных условиях, про которые я расскажу и отправить отчет с лог-файлом.
Баг точно есть, его можно увидеть на видеороликах у ютуберов, ссылки пришлю если нужно. Поэтому результаты типа: "бага нет" не принимаются.
Работа разовая, но потом я буду подкидывать другие подобные задания на воспроизведение багов. Цену не знаю, предлагайте сами исходя из этого конкретного случая.

Ответить
0

И вовсе не реклама, да.

Лучше бы написали что делать когда ты переводишь так, а у тебя конфликт с фан-базой, которая с пеной у рта доказывает, что переводить надо так вот. Была у нас такая дрянь с RWBY...

Ответить
1

У нас был кейс при переводе игры по South Park - выставленный заказчиком возрастной рейтинг не позволял переводить в привычном русскоязычным зрителям стиле. Удалось договориться с заказчиком на повышение рейтинга ради сохранения колорита.

Ответить
0

Распишите такие кейсы. Я хоть сам свою лавочку уже прикрыл, но мне все равно было бы очень интересно почитать. Да и многим, думаю, тоже.

Ответить
0

Какой первоначальный возрастной ценз хотели указать?) Если не секрет конечно :)
Обновил страничку -> Увидел линк -> 12+ возраст....
Интересно кто такой хитрый, его выставил в ТЗ по сауспарку)))

Ответить
0

Вы игру по RWBY переводили? А сам-то сериал смотрели, все сезоны?
Я не с целью наезда спрашиваю. Просто сериал-то длинный, не каждый захочет его смотреть.

Ответить
0

Там были конфликты уровня как переводить названия по большей части. Потому что фан-сообщество уже там себе напереводить успело да еще и неправильно. И потом требовало от нас чтобы мы переводили только так и не иначе. Самые отбитые писали разрабам, пара плохих отзывов от таких есть на страничке стима.

Обычные юзеры и сами разрабы — Rooster Teeth не жаловались.

Ответить
0

Привлекайте сторонников ваших вариантов и их противников на баттлы, а разрабы пусть судят :-) Если серьезно, мы в чём-то похожей ситуации выбирали более распространённые варианты перевода среди фанатов, но недовольных всегда лучше слышно, потому что довольные обычно молчат.

Ответить
0

Да мы с тех пор как-то закрыли локализацию. Сложнее стало с инди-играми, а ориентировались мы на них. Стимспай тоже стал мало пригоден и т.д.

Открыл типографию вместо неё, вроде доволен :D

Ответить
0

Так RWBY ведь не инди. Популярная у американских подростков франшиза.
Правда, про качество и успешность игры ничего не могу сказать, слышал негативные отзывы о ней.
А расскажите, почему сложно с инди? Неужели игр стало меньше? Мне кажется, что динамика новых игр в стиме положительная.

Ответить
0

Давайте помнить что такое инди. Это "независимый разработчик". RWBY под это подходит. И франшиза-франшизой, а игра та еще инди на деле если понимать термин "инди" как его понимают игроки — небольшая игра, собранная на условной коленке .

Гринлайт закрылся, например. Это, на деле, оказалось проблемой. У нас многое на него завязано было.

Ответить
0

С инди-играми сложно, да.

Ответить
0

Вообще, было бы интересно почитать где-то разницу в построение процессов в обычной галере/галеоне и в такой же галере но с курсом на гейм-дев. Кто-то из знакомых сказал, что в русском гейм-деве просто на 3-5-8 лет отставание по процессам (и использование соответствующих тулов).

Ответить
0

Ребятки, или мне кажется, или в предпоследнем абзаце странный повтор во втором предложении. Классная статья! Confluence - правильное решение!

Ответить
0

Спасибо, поправили!

Ответить
0

Жутковато, что где-то "показатель качества" до сих пор измеряется в количестве проставленных багов.

Ответить
0

Ну все-таки не в абсолютном количестве багов, а в отношении валидных ошибок к общему количеству.

Ответить
0

«Количество замечаний» это невалидные тикеты от куа? А почему они невалидны? Баг с вопросом по уточнению дизайна — хороший, полезный баг. Его все видят, он не умирает в коридорах и курилках.

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Пять простых способов разогнать свой ПК
с помощью соли и чайной ложки
Подписаться на push-уведомления