Как тестируют игры

What made Xbox great is we really tried to create a listening culture. We had the Xbox Advisory Board to get feedback from our developers. We had a great play testing team that would help validate feedback from customers. All of these feedback loops were healthy.

Что сделало Xbox великим [в свое время], так это то, что мы действительно старались создать культуру, в которой [к разработчикам и игрокам] будут прислушиваться. У нас был консультативный совет Xbox для получения отзывов от наших разработчиков, у нас была отличная команда по тестированию игр, которая помогала проверять отзывы клиентов и все эти каналы образной связи здорово работали.

Why Xbox Lost/Почему проиграл Xbox

1) Цель - например, пазл, который понятен и интересен для решения

2) Дизайн - создайте что-нибудь, хотя бы отдаленно напоминающее вашу цель

3) Тест - дайте другим поиграть в ваш уровень

4) Правки - если что-то не работает, то исправляйте

...playtesting a section until it was no longer excruciatingly painful to watch playtesters

...тестируйте уровень до тех пор, пока просмотр тестов не перестанет вызывать мучительную боль.

Valve's "Secret Weapon"

Valve is obsessed with [playtests] to an almost religious degree. ...

“I always heard that Valve does a lot of playtesting before I came to work here, and I was not prepared for the amount of playtesting this company does".

Valve одержима [игровыми тестами] почти до религиозного исступления. ...

“Я слышал, что Valve проводит много игровых тестов, но я не был готов к ТАКОМУ количеству игровых тестов, которые проводит эта компания".

ibid

Portal was playtested practically every week. They'd do a playtest on Friday, discuss the results on Monday, apply the lessons the rest of the week, and test again on Friday.

Portal тестировался практически каждую неделю. В пятницу они проводили тестирование, в понедельник обсуждали результаты, применяли полученные уроки до конца недели и снова тестировали в пятницу.

ibid

They found random gamers in video game shops, and contacted people who filled in those little registration cards you got in old PC boxes. They'd sit them down in front of the game and just watch them play.

Они находили случайных игроков в магазинах видеоигр и связывались с людьми, которые заполняли маленькие регистрационные карточки, которые можно найти в коробках со старыми ПК. Они усаживали их перед игрой и просто наблюдали, как они играют.

ibid

"Nothing is quite so humbling as being forced to watch in silence as some poor playtester stumbles around your level for 20 minutes, unable to figure out the 'obvious' answer that you now realize is completely arbitrary and impossible to figure out", the studio has said.

"Нет ничего более спускающего тебя с небес на землю, кроме как быть вынужденным молча наблюдать за тем, как какой-то бедный игрок 20 минут бродит по вашему уровню, не в силах найти "очевидный" ответ, который, как вы теперь понимаете, совершенно произвольный и его невозможно разгадать [без посторонней помощи]", - заявили в студии.

ibid

.. if you're the producer or the design lead on a project you want that feedback so what you do is you run something called a bug bash a bug bash was where you basically took the game made it available to everyone they would download it and play it one afternoon you try to bring in some treats maybe pizza or ice cream and then you would gather as much feedback as possible and the team itself would be walking from office to office as they saw bugs coming in and they would clarify with the people that were playing what they meant by a particular problem or have them reproduce it for them so they could see it bug bashes work great they were a lot of fun it was a great team building exercise and it gave everybody a chance to play the latest and coolest game that was about to come out for the team it was also awesome because you had feedback from the amazingly talented people across the studio. Not only would they point out issues they often had great advice

.. если вы продюсер или ведущий дизайнер проекта, вам нужна обратная связь, поэтому все, что вы делаете, это запускаете нечто под названием bug bash, где вы, по сути, берете игру, делаете ее доступной для всех, они скачивают и играют в нее, вы приносите что-нибудь вкусненькое, пиццу или мороженое, а затем вы собираете как можно больше отзывов, и ваша команда сама ходит из офиса в офис, обнаруживая ошибки, уточняет у людей, которые играли, что они имели в виду под конкретной проблемой, просит их воспроизвести ее для себя, чтобы они могли лучше понять, что не так.

Это было отличное упражнение по сплочению команды, и это дало всем возможность поиграть в самую крутую игру, которая вот-вот должна выйти. Это просто потрясно, потому что вы получаете отзывы от удивительно талантливых людей со всей студии. Они не только указывают на проблемы, но и дают отличные советы.

Redfall

every game has many unknowns when you start out. That's why game development is so difficult - because it's iterative. You have to make the game while paying attention to what is going on around you because gaming evolves

в начале разработки у каждой игры есть много неизвестных. Вот почему разработка игр так сложна - потому что она носит итеративный характер. Вы должны создавать игру, обращая внимание на то, что происходит вокруг вас, потому что игры постоянно развиваются и изменяются

Culture Killed Concord

you need to know that there's an audience for your game you have to build it with the players in mind from the start

вам нужно знать, что у вашей игры есть аудитория, и вы должны с самого начала создавать ее с учетом интересов игроков

ibid

RPS: Someone asked me about Portal, asking if it gets more difficult. I said, it doesn’t get more difficult – you just get better at it. That sense of progression – how did you go about creating it?

KS: Play-testing. A lot. We started play-testing our game literally the first week that we got here. That one room that you wake up in – we had that built in a couple of days, and we immediately started play-testing it.

RPS: Кто-то спрашивал меня о Portal, не становится ли он сложнее. Я сказал, что он не становится сложнее – вы просто становитесь лучше. Это ощущение прогресса – как вы его создавали?

KS: Тестирование. Много тестирования. Мы начали тестировать нашу игру буквально в первую неделю после того, как приехали сюда. Ту комнату, в которой вы просыпаетесь [в игре], мы построили за пару дней и сразу же приступили к тестированию.

RPS Interview: Portal's Kim Swift and Jeep Barnett

IGN: Will most of the puzzle challenges involve logical thinking as well as twitch shooter gameplay, as some of the later clips hint at? Will there be a hint option for those of us too stupid to figure the puzzles out on our own?

Swift: We believe that it's very important to bring in a playtester every week to test through the game and this lets us know that the levels we create are reasonable. Doing multiple iterations on new content as soon as possible helps ensure that players will have fun. In addition, like Half-Life 2, we have difficulty settings that will scale damage, accuracy of antagonists, etc.

IGN: Будут ли большинство головоломок включать в себя логическое мышление, а также элементы twitch-шутера, на что намекают некоторые из более поздних роликов? Будет ли предусмотрена подсказка для тех из нас, кто слишком глуп, чтобы разобраться с головоломками самостоятельно?

Свифт: Мы считаем, что очень важно каждую неделю приглашать тестировщиков для тестирования игры, и это дает нам понять, что уровни, которые мы создаем, являются разумными. Многократные итерации нового контента в кратчайшие сроки помогают нам удостовериться, что игроки будут получать удовольствие. Кроме того, как и в Half-Life 2, у нас есть настройки сложности, которые будут влиять на урон, точность противников и т.д.

The Portal Interview

"Playtesting is so incredibly valuable to the process. We started playtesting Portal literally the week we got [to Valve]. We tried to playtest every week, and every time we’d design a level or a piece of exposition we would try and get it in the game within two to five days, so we could see if our decisions were the right ones."

"Тестирование игр невероятно ценно. Мы стали тестировать Portal буквально на той же неделе, когда пришли [в Valve]. Мы старались проводить игровое тестирование каждую неделю, и каждый раз, когда мы разрабатывали уровень или часть экспозиции, мы пытались внедрить их в игру в течение двух-пяти дней, чтобы убедиться в правильности наших решений".

‘Playtesting was crucial to Portal’s success’

make sure to integrate play testing is a major element in your design process

убедитесь, что тестирование является важным элементов процесса разработки и дизайна.

IGS 2007: Kim Swift - 'Our Journey From Narbacular Drop To Portal'

the key to a bungee's success is not some sort of magic it's testers that keep the build stable to make sure that everything is as fun as it can be

ключом к успеху Bungie является не какое-то волшебство, а тестировщики, которые поддерживают стабильность, и гарантируют, что все работает как надо.

11 minutes of bungie playtesting halo 3

you can never test enough

ibid

Dive into testing as soon as possible, even if you only have a handmade prototype. There are different forms and stages of playtesting that you’ll be working your way through. Your game will evolve in exciting and potentially dramatic ways during each one of these phases, so you want to get that ball rolling as soon as possible.

Приступайте к тестированию как можно скорее, даже если у вас есть только простой прототип [сделанный из говна и палок]. Существуют различные формы и этапы игрового тестирования, с которыми вам предстоит разобраться. На каждом из этих этапов ваша игра будет развиваться захватывающим и потенциально драматичным образом, поэтому вы хотите добиться успеха как можно скорее.

Creating a Playtest Feedback Form for Your Board Game

14 . Веди учет работы и контролируй ее

Самое трудное и самое важное в работе—это поставить правильный контроль над ней. Какой толк, если организатор будет сочинять хорошие планы и давать умные приказы, а выполнение планов и приказов пойдет совсем не так, как предполагается. А чтобы проконтролировать работу, надо прежде всего ее учесть.

Памятка Организатора. Керженцев

Быстрая обратная связь позволяет разработчикам пробовать различные подходы улучшения производительности, все еще оперируя контекстом, вмес­то того чтобы заниматься этим неделями позднее, когда тестирование производительности проходит неуспешную проверку, а разработчик уже выстроил целое решение, основанное на первоначальной идее проекта. То же самое применимо к тестированию безопасности: добывайте обратную связь по возможности раньше.

Мирко Херинг - DevOps для предприятия

Обзоры и рейтинги

Обратная связь, установленная с сотрудниками, может принимать разные формы. Во-первых, обратная связь осуществляется в виде рабочих обзоров, которые сконструированы таким образом, чтобы дать людям знать о том, как они работают. Это позволит им расти как личностям, повышать уровень знаний, устранять пробелы в образовании или навыках. Во-вторых, помимо ценности обзоров для отдельных сотрудников, организации также выигрывают оттого, что получают информацию о людях, которые работают лучше и вносят больший вклад в общее дело. Рациональное зерно заключается в том, что если имеются сотрудники, которые работают хуже других и не стремятся к совершенствованию, возможно, следует их просто уволить.

Дженнифер Дэвис, Кэтрин Дэниэлс - Философия Devops

Производственная обратная связь.

Люди взаимодействуют друг с другом, чтобы получить отзыв о проделываемой работе. Обратная связь важна, поскольку она затрагивает вопрос достижения целей, она позволяет человеку узнать, правильно ли он поступает.

Кононова, Магомедалиева, Тронина, Татенко - Теория менеджмента

The only way to discover your strengths is through feedback analysis. Whenever you make a key decision or take a key action, write down what you expect will happen. Nine or 12 months later, compare the actual results with your expectations. I have been practicing this method for 15 to 20 years now, and every time I do it, I am surprised. The feedback analysis showed me, for instance—and to my great surprise—that I have an intuitive understanding of technical people, whether they are engineers or accountants or market researchers. It also showed me that I don’t really resonate with generalists.

Feedback analysis is by no means new. It was invented sometime in the fourteenth century by an otherwise totally obscure German theologian and picked up quite independently, some 150 years later, by John Calvin and Ignatius of Loyola, each of whom incorporated it into the practice of his followers. In fact, the steadfast focus on performance and results that this habit produces explains why the institutions these two men founded, the Calvinist church and the Jesuit order, came to dominate Europe within 30 years.

Единственный способ выявить свои сильные стороны - это проанализировать обратную связь. Всякий раз, когда вы принимаете ключевое решение или предпринимаете важные действия, записывайте, что, по вашему мнению, произойдет. Девять или 12 месяцев спустя сравните фактические результаты со своими ожиданиями. Я практикую этот метод уже 15-20 лет, и каждый раз, когда я применяю его, я удивляюсь. Например, анализ отзывов показал мне — и к моему большому удивлению — что я интуитивно понимаю технических специалистов, будь то инженеры, бухгалтеры или исследователи рынка. Это также показало мне, что я на самом деле не нахожу отклика у специалистов широкого профиля.

Анализ обратной связи ни в коем случае не является чем-то новым. Он был изобретен где-то в четырнадцатом веке совершенно неизвестным немецким богословом и подхвачен совершенно независимо, примерно 150 лет спустя, Жаном Кальвином и Игнатием Лойолой, каждый из которых внедрил его в практику своих последователей. На самом деле, постоянное внимание к работе и результатам, к которым приводит эта привычка, объясняет, почему учреждения, основанные этими двумя людьми, - кальвинистская церковь и орден иезуитов - стали доминировать в Европе в течение 30 лет.

HBR 10 Must Reads on Managing Yourself

Daily Log PHILOSOPHY

Apart from the Stage Plan a Project Manager often needs a diary to record significant events or remind him or herself of little jobs to do in the coming week.

ФИЛОСОФИЯ ежедневного ведения журнала

Помимо поэтапного планирования, руководителю проекта часто требуется дневник, чтобы записывать важные события или напоминать себе о небольших задачах, которые необходимо выполнить на предстоящей неделе.

Colin Bentley - Prince2 Practical Handbook

Projects need clear direction from customers and end users regarding project requirements, outcomes, and expectations. In adaptive and hybrid project environments, the need for ongoing feedback is greater because the project teams are exploring and developing product elements within specific increments. In some project environments, the customer or end user engages with the project team for periodic review and feedback. In some projects, a representative of the customer or client participates on the project team. The customer and end user input and feedback needs are determined by the nature of the project and the guidance or direction required.

Проекты нуждаются в четком руководстве со стороны заказчиков и конечных пользователей в отношении требований, результатов и ожиданий проекта. В адаптивных и гибридных проектных средах потребность в постоянной обратной связи возрастает, поскольку проектные команды исследуют и разрабатывают элементы продукта в рамках определенных этапов. В некоторых проектах заказчик или конечный пользователь взаимодействует с проектной командой для периодического анализа и получения обратной связи. В некоторых проектах представитель заказчика или заказчицы входит в состав проектной команды. Потребности заказчика и конечного пользователя в информации и обратной связи определяются характером проекта и требуемыми рекомендациями или направлениями.

Pmbok 7th Edition

play testing has been a very big part of of the game design for me of making this game and one really cool thing that we did was play tests actually ask people through the internet to to play tests they would get the game for free on their computer and we asked them hey here's a key but can you also while you're play testing record your screen and your voice at the same time

игровое тестирование было для меня очень важной частью геймдизайна при создании этой игры, и одна действительно классная вещь, которую мы сделали, - это провели игровые тесты, попросив людей через Интернет бесплатно загрузить игру на свой компьютер и, во время тестирования записывать свой экран и свой голос одновременно.

GDS 2017: Adriaan de Jongh - The Making of Hidden Folks [EN]

I have watched hours days I've probably watched weeks of people playing the game just trying to figure out which specific interactions are missing which specific interactions are hard

Я наблюдал часами, днями а возможно и неделями за тем, как люди играют в эту игру, просто пытаясь понять, каких конкретных взаимодействий не хватает, какие конкретные взаимодействия слишком сложны для игроков

ibid

Questioning playtesters

* Don't rely too much on questions - they're already fans of your work and will say anything to please you or vice versa - will criticize something even though everything went well.

* Often you learn more from what playtesters DON'T experience - something they miss something (make sure that they DO experience what you want them to experience).

* Ask non-leading questions - if you want to know about a story, ask them "tell me a story about what happened during the playtest?" If they tell you what you expect from them - everything is going well.

* Can be great at measuring certain elements like storytelling and perception.

If you want your players to learn something - you have to force them to do exactly that. When Valve asked the testers about when they learned that dissolving Combine soldiers using energy balls was a valid strategy they said "huh?" so they specifically created a sequence where you had to do it.

Задавайте вопросы тестерам

* Не слишком полагайтесь на вопросы - они и так поклонники вашей работы и скажут все, что угодно, лишь бы вам понравиться, или наоборот - будут критиковать что-то, даже если все прошло хорошо.

* Часто вы узнаете больше о том, чего НЕ испытывают игроки, - о чем-то, чего им не хватает (убедитесь, что они действительно испытывают и видят именно то, что вы хотите, чтобы они испытали или увидели). В начале HL2 многие игроки не заметили страйдера, так что Valve поменяла уровень, чтобы игроки совершенно точно увидели страйдера.

* Задавайте не наводящие вопросы - если вы хотите узнать об истории, попросите их "рассказать мне историю о том, что произошло во время игрового теста?" Если они скажут вам, чего вы от них ожидаете, значит, все идет хорошо.

* Может быть полезен при оценке определенных элементов, таких как повествование и восприятие.

Если вы хотите, чтобы ваши игроки чему-то научились, вы должны заставить их делать именно это. Когда Valve спросили тестировщиков о том, когда они узнали, что уничтожение солдат Альянса с помощью энергетического шара является эффективной стратегией, они ответили "Чего?", поэтому они специально создали такую сцену, в которой вы должны были убить Комбайна энерго-шаром.

Valve's Design Process for Creating Half-Life 2

play testing is where we make the vast majority of our most important changes to our game so we try to do it as early as possible on the project to get the most value out of it.

игровое тестирование - это та операция, где мы вносим подавляющее большинство самых важных изменений в нашу игру, поэтому мы стараемся сделать это как можно раньше, чтобы извлечь из проекта максимальную пользу.

ibid

* Create 15 minutes of gameplay

* Playtest

* Use playtest to prioritize work for next week

* Repeat until complete

* Создайте 15 минут чернового геймплея

* Проведите тестирование

* Используйте результаты тестов, чтобы расставить приоритеты в работе на следующую неделю

* Повторяйте до завершения

ibid

We basically came to realize there's just this fundamental aspect of human psychology which is: they can't perceive anything at all, really, when they feel like they're under threat. They're completely, 100% focused on dealing with whatever threat that's after them and so, as a result, we learned this new sort of design tool that we added to our tool kit which was - never introduce anything while the player is under threat.

По сути, мы пришли к пониманию того, что существует фундаментальный аспект человеческой психологии, который заключается в том, что игроки вообще ничего не могут воспринимать, когда чувствуют, что им угрожает опасность. Они полностью, на 100% сосредоточены на борьбе с любой угрозой, которая их преследует, и в результате мы освоили новый инструмент проектирования, который добавили в наш набор инструментов, который гласил: "никогда ничего не вводите, пока игрок находится под угрозой".

ibid

If you do your gameplay iteration before heavily investing in art you can use what you learn to tell the artists about various constraints they should apply before really investing in their art, like if players are getting lost in a particular part of the map you can say "hey! you know, make sure when you do the art for this area we want you to focus attention here" and it helps them avoid throwing away work that they've done which is something that artists of course hate.

Если вы проводите тестирование игрового процесса, прежде чем вкладывать значительные средства в арт, вы можете использовать полученные знания, чтобы рассказать художникам о различных ограничениях, которые они должны держать в уме, прежде чем по-настоящему вкладывать средства в арт, например, если игроки заблудились в определенной части карты, вы можете сказать: "Эй! знаете, когда вы будете заниматься арт-пассом в этой области, убедитесь, чтобы вы сосредоточили свое внимание на этом аспекте", - и это помогает им не выбрасывать выполненную ими работу, что, конечно же, ненавистно художникам.

ibid

Allow for a final iteration over the entire game once it's playable from beginning to end.

Проведите финальный тест всей игры, как только в нее можно будет играть от начала до конца.

ibid

- if a play test subject was particularly incompetent did you make a decision to change or you always test it on three people

- we typically look for trends

- если испытуемый, участвовавший в игровом тестировании, был особенно некомпетентен, вы принимаете решение изменить что-то или всегда тестируете это на трех людях?

- обычно мы отслеживаем тренды

ibid

we try to continually implement the simplest possible thing you know and not and and have the shortest possible time between the implementation of our of our technologies and something that we can test and run and make sure it's working

мы стараемся постоянно внедрять самые простые из возможных решений и внедрять технологии как можно быстрее, чтобы протестировать их, запустить и убедиться, что они работают.

ibid

never restrict your testers to a specific group of people even if those people are not part of your so-called target audience

никогда не ограничивайте своих тестировщиков определенной группой людей, даже если эти люди не входят в вашу так называемую целевую аудиторию

Playtesting: Avoiding Evil Data

Когда я присоединился к Naughty Dog для работы над Jax 3 мы провели около четырех или пяти плейтестов на протяжении всей разработки. В случае Uncharted 3 мы провели 21 плейтест лишь за последние шесть месяцев разработки. Вот насколько они для нас важны

Как тестируют игры

Before you start writing questions, you need to decide what you want to learn. These are your research objectives, and are different from the actual questions you will ask players. A research objective could be “is the difficulty of our game correct”, but you probably don’t want to ask that question directly to players in those words.

Прежде чем вы начнете писать вопросы, вам нужно определить ваши цели. Целью исследования может быть “правильно ли оценена сложность нашей игры”, но вы, вероятно, не захотите задавать этот вопрос напрямую и в таких выражениях.

Having identified research objectives, consider whether a survey is the best method for answering them. Surveys are good for measuring things, for example opinions (“Does this level look good or bad”) or behaviour (“How many times did it take to complete this level”). They are less suitable for deep qualitative feedback which would require observation and probing to answer (“Why did players take 20 attempts to complete this challenge”)

Определив цели исследования, подумайте, является ли опросник наилучшим методом для их решения. Опросы хороши для измерения таких факторов, как мнения (“Выглядит ли этот уровень хорошим или плохим”) или поведение (“Сколько раз вам потребовалось пройти этот уровень”). Они менее подходят для получения глубокой качественной обратной связи, которая потребовала бы наблюдения и анализа, чтобы ответить на вопрос (“Почему игрокам потребовалось 20 попыток, чтобы выполнить это задание”).

Scales are a very common way of capturing answers to surveys and can include:

An overall numerical score – asking players to rate something out of 10. A two-directional scale – with two conflicting ideas on each side of the scale.

Make sure that they are opposites, or this one gets confusing. For example (“Very bad” to “very good”)

Шкалы - это очень распространенный способ получения ответов в опросах, и они могут включать в себя:

Общую числовую оценку – игроков просят оценить что-либо от 1 до 10.

Двусторонняя шкала – с двумя противоположными утверждениями на каждой стороне шкалы. Убедитесь, что они противоположны, иначе это может привести к путанице. Например (от “Очень плохого” к “очень хорошему”)

The goal of post-playtest questions is to get unadulterated feelings from the person. You do not want to lead them in any way, but you want to find out what they thought. Try these questions:

- What was the most frustrating moment or aspect of what you just played?

- What was your favorite moment or aspect of what you just played?

- Was there anything you wanted to do that you couldn’t?

- If you had a magic wand to wave, and you could change, add, or remove anything from the experience, what would it be?

- What were you doing in the experience?

- How would you describe this game to your friends and family?

The easy to remember (though ridiculous) mnemonic is ffwwdd:

* Frustrating

* Favorite

* Wanted

* Wand

* Doing

* Describe

Цель пост-тестовых вопросов - добиться от человека искренних чувств. Вы не хотите каким-либо образом направлять их, но хотите узнать, что он действительно думает. Попробуйте ответить на эти вопросы.:

- Какой момент или аспект игры вас больше всего разочаровал?

- Какой момент или аспект из того, что вы только что сыграли, вам больше всего понравился?

- Было ли что-то, что вы хотели сделать, но не смогли?

- Если бы у вас была волшебная палочка и вы могли бы что-то изменить, добавить или убрать из игры, что бы это было?

- Что вы делали во время этого опыта?

- Как бы вы описали эту игру своим друзьям и родственникам?

Самая простая для запоминания (хотя и нелепая) мнемоника - РЛЖВЧО:

* Раздражает

* Любимая

* Желанная

* Волшебная палочка

* Что вы делали

* Опиши

The Principles of the MRS Code of Conduct:

1. Researchers shall ensure that participation in their activities is based on voluntary informed consent.

2. Researchers shall be straightforward and honest in all their professional and business relationships.

3. Researchers shall be transparent as to the subject and purpose of data collection.

4. Researchers shall respect the confidentiality of information collected in their professional activities.

5. Researchers shall respect the rights and well-being of all individuals.

6. Researchers shall ensure that participants are not harmed or adversely affected by their professional activities.

7. Researchers shall balance the needs of individuals, clients, and their professional activities.

8. Researchers shall exercise independent professional judgement in the design, conduct and reporting of their professional activities.

9. Researchers shall ensure that their professional activities are conducted by persons with appropriate training, qualifications and experience.

10.Researchers shall protect the reputation and integrity of the profession.

Принципы Кодекса поведения MRS:

1. Исследователи должны гарантировать, что участие в их деятельности основано на добровольном информированном согласии.

2. Исследователи должны быть прямолинейными и честными во всех своих профессиональных и деловых отношениях.

3. Исследователи должны быть прозрачными в отношении предмета и цели сбора данных.

4. Исследователи должны соблюдать конфиденциальность информации, собранной в ходе их профессиональной деятельности.

5. Исследователи должны уважать права и благополучие всех людей.

6. Исследователи должны следить за тем, чтобы их профессиональная деятельность не причиняла вреда участникам.

7. Исследователи должны учитывать потребности отдельных лиц, клиентов и свою профессиональную деятельность.

8. Исследователи должны выносить независимые профессиональные суждения при планировании, проведении и освещении своей профессиональной деятельности.

9. Исследователи должны обеспечивать, чтобы их профессиональная деятельность осуществлялась лицами, имеющими соответствующую подготовку, квалификацию и опыт.

10.Исследователи должны защищать репутацию и честность своей профессии.

Be open and receptive to positive, negative, and constructive feedback. Go into the playtests with confidence. Set the stage for everyone, letting them know how long the game should take to play and if they’ll be playing the full game or testing a specific aspect of it. From there, you just need to be a sponge — observing, listening, and taking notes. You may get frustrated at some points. It may be hard to hear some of the criticism, but everything you learn is going to improve your game in some way, and that has to be at the forefront of your mind.

Будьте открыты и восприимчивы к положительным, отрицательным и конструктивным отзывам. Смело приступайте к тестированию. Подготовьте условия для всех, сообщив, сколько времени займет прохождение игры и будут ли они проходить ее полностью или тестировать отдельные ее аспекты. С этого момента вам нужно просто быть внимательным — наблюдать, слушать и делать заметки. В какой-то момент вы можете разочароваться. Возможно, вам будет тяжело слышать некоторую критику, но все, чему вы научитесь, так или иначе улучшит вашу игру, и это должно быть в центре вашего внимания.

What did you like most about the game?

What didn’t you like about this game?

What was the most enjoyable moment of the game?

What was the most frustrating moment of the game?

Did you enjoy the game’s theme? Why or why not?

Did you enjoy the game’s art style? Why or why not?

Were there any rules that were confusing?

Was the overall game duration too short, too long, or just right?

Что вам больше всего понравилось в игре?

Что вам не понравилось в этой игре?

Что было самым приятным моментом в игре?

Что больше всего расстраивало в игре?

Понравилась ли вам тематика игры? Почему или почему нет?

Понравился ли вам художественный стиль игры? Почему или почему нет?

Были ли какие-то правила, которые сбивали с толку?

Была ли общая продолжительность игры слишком короткой, слишком затянутой или в самый раз?

Traditional Playtest Methodologies

– Direct Observation

– Verbal Reports

– Q&As

Technical Playtest Methodologies

– Stat Collection/Data Analysis

– Design Experiments

– Surveys

– Physiological Measurements

Традиционные методики игровых тестов

– Непосредственное наблюдение

– Устные отчеты

– Вопросы и ответы

Технические методики игровых тестов

– Сбор статистики/Анализ данных

– Эксперименты по разработке

– Опросы

– Физиологические измерения

You have some sexist focus testers who were really upset by Nadine beating up Nate, and really upset at the end when it was Nate’s daughter. To the point where we had to ask one guy to leave.

У нас есть несколько сексистских тестеров, которые были очень расстроены тем, что Надин избила Нейта, и очень расстроились в конце, когда это была дочь Нейта. До такой степени, что нам пришлось попросить одного парня уйти.

One ‘Uncharted 4’ Scene Got So Intense That He Had to Fire a Tester

we wanted to have our game kind of have a Nintendo factor to it we wanted to be able to create a game where there is one piece of gameplay that could be used in a whole bunch of different permutations

IGS 2007: Kim Swift - 'Our Journey From Narbacular Drop To Portal'

if you don't hook them in and and get them interested in about 5 minutes uh they're probably going to put your game down and and walk away and forget about it so we wanted to expose as much of our game in 5 minutes as we possibly could and give people the general gist of what they are going to expect

ibid

we're in an entertainment industry - if it's not fun then what are you doing?

мы работаем в индустрии развлечений - если ваш продукт не приносит удовольствия, то зачем вы вообще этим занимаетесь?

ibid (отсоси, Нил!)

Playtesting Goal

* Fun

* Not bug testing

* Not game balancing

* DEFINITELY not focus testing

Цель игрового тестирования

* Веселье

* Не проверка на ошибки

* Не балансировка игры

* ОПРЕДЕЛЕННО не фокус-тестирование

Valve Approach to Playtesting

Valve’s Philosophy

- Playtesting continues after we ship

* Gameplay stats

* Forum responses

* Fan feedback

- Always gathering data for the future

* Patches/updates

* Upcoming games

Философия Valve

- Тестирование игры продолжается после ее выхода

* Статистика игрового процесса

* Отзывы на форуме

* Отзывы фанатов

- Мы всегда собираем информацию на будущее

* Патчи /обновления

* Предстоящие игры

ibid

Benefits of Traditional Methods

+ Nothing beats direct gameplay observation

+ Determine major gameplay, navigation, and content issues

+ Get an idea of player thoughts/mental models

+ Get feedback on design choices

Issues with Traditional Methods

– Artificial gameplay sessions

– Many potential biases

– Distorted data (interpreted behavior)

– Lack of empiricism

– Missing elements of objectivity

– Sometimes difficult to establish emotions, baselines, and independence

Преимущества традиционных методов

+ Ничто не сравнится с непосредственным наблюдением за игровым процессом

+ Определение основных проблем игрового процесса, навигации и контента

+ Представление о мыслях игроков / ментальных моделях

+ Получение отзывов о выборе дизайна

Проблемы, связанные с традиционными методами

– Искусственные игровые сессии

– Множество потенциальных искажений

– Искаженные данные (интерпретация поведения)

– Отсутствие эмпиризма

– Отсутствие элементов объективности

– Иногда трудно определить эмоции, исходные данные и независимость

Stat Collection/Analysis

+ Objective notions of player behavior

+ See global trends

+ Readily enables comparisons, baseline establishment, and metric creation

+ Track changes over time

– Averages hide extreme examples

– Miss nuance (lacking context)

– Requires rigor

– Can see ‘illusory’ patterns

Сбор/анализ статистических данных

+ Объективное представление о поведении игроков

+ Просмотр глобальных тенденций

+ Возможность легко проводить сравнения, устанавливать базовые показатели и создавать метрики

+ Отслеживать изменения с течением времени

– Средние значения скрывают экстремальные примеры

– Не учитываются нюансы (отсутствует контекст)

– Требуется строгость

– Может видеть "иллюзорные’ узоры

Design Experiments

+ Enables more informed decision‐making

+ Objective answer

+ Saves time in the long run

– Costs time (in the short run) and money

– Right questions aren’t always clear

– Proper experimental design is a process

Эксперименты

+ Позволяют принимать более обоснованные решения

+ Объективный ответ

+ Экономит время в долгосрочной перспективе

– Требует затрат времени (в краткосрочной перспективе) и денег

– Правильные вопросы не всегда ясны

– Правильное проектирование эксперимента - это процесс

Слово «конкуренция» латинское и буквально означает «совместный поиск» или «выбор способа участия в той же гонке». Но в эру товарного изобилия беговые дорожки переполнены. Остальные участники постоянно наступают вам на ноги, толкаются, пихаются, пытаются первыми добежать до потребителя. Итак, хотя это и звучит слегка парадоксально, но единственное (не)разумное, что вы можете сделать, это не конкурировать. ...

Грязный маленький секрет рыночного капитализма во всех его проявлениях: успешные компании стали таковыми, убив дух свободного предпринимательства. Они все преуспели, создавая монополии, по крайней мере, на какое-то время. Конкурентное преимущество создается за счет отказа от конкуренции. ...

Рецепт успеха?

Буржуазные писатели исписали и исписывают горы бумаги, воспевая конкуренцию, частную предприимчивость и прочие великолепные доблести и прелести капиталистов и капиталистического порядка. Социалистам ставили в вину нежелание понять значение этих доблестей и считаться с «натурой человека». А на самом деле капитализм давно заменил мелкое товарное самостоятельное производство, при котором конкуренция могла в сколько-нибудь широких размерах воспитывать предприимчивость, энергию, смелость почина, крупным и крупнейшим фабричным производством, акционерными предприятиями, синдикатами и другими монополиями. Конкуренция при таком капитализме означает неслыханно зверское подавление предприимчивости, энергии, смелого почина массы населения, гигантского большинства его, девяносто девяти сотых трудящихся, означает также замену соревнования финансовым мошенничеством, непотизмом, прислужничеством на верху социальной лестницы. ...

Надо организовать соревнование практиков-организаторов из рабочих и крестьян друг с другом. Надо бороться против всякого шаблонизирования и попыток установления единообразия сверху, к чему так склонны интеллигенты. С демократическим и социалистическим централизмом ни шаблонизирование ни установление единообразия сверху не имеет ничего общего.

Как организовать соревнование (Ленин)

Но свобода – это не то, что просто вручают. Свободу завоевывают.

Политическая власть исходит из ствола винтовки.

Мао

Конечные свойства материи понятны и поддаются объективным измерениям.

В своей основе идеализм – это религия, теология. «Идеализм есть поповщина», – писал Ленин. Всякий идеализм является продолжением религиозного подхода к решению любого вопроса, аже если отдельные идеалистические теории и сбросили свою религиозную оболочку. Идеализм неотделим от суеверий, веры в сверхъестественное, таинственное и непознаваемое.

Напротив, материализм стремится объяснить эти вопросы ис- ходя из материального мира, при помощи факторов, которые мож- но проверять, понимать и контролировать.

МОРИС КОРНФОРТ - ДИАЛЕКТИЧЕСКИЙ МАТЕРИАЛИЗМ

One further point should be observed in passing. If the labor theory of value were true––that is, if labor and labor alone were the source of all value in economic goods and services––then labor would be entitled, in strict justice, to the whole of the wealth produced. According to this theory, labor, either in the form of living labor or, as Marx suggests, in the form of “congealed labor” (i.e., the labor that is accumulated and congealed in machines), contributes everything to the production of wealth except what nature itself affords. Hence, everything produced would belong to labor as a matter of just requital.

Попутно следует отметить еще один момент. Если бы трудовая теория стоимости была верна, то есть если бы труд и только труд были источником всей стоимости экономических товаров и услуг, то трудящиеся по справедливости имели бы право на все производимое богатство. Согласно этой теории, труд, либо в форме живого труда, либо, как предполагает Маркс, в форме “застывшего труда” (т.е. труда, который накапливается и застывает в машинах), вносит свой вклад в производство богатства, за исключением того, что дает сама природа. Следовательно, все произведенное принадлежало бы труду как справедливое вознаграждение.

FREE COMPETITION AS THE DETERMINANT OF VALUE

Труд не есть источник всякого богатства. Природа в такой же мере источник потребительных стоимостей (а из них-то ведь и состоит вещественное богатство!), как и труд, который сам есть лишь проявление одной из сил природы, человеческой рабочей силы.

К.Маркс. Критика Готской программы