Mike Ivanov (mikeiva) wrote,
Mike Ivanov
mikeiva

Categories:
  • Music:

Бета-тестирование: бета-версия. Часть 2: процесс тестирования

Продолжение текста про тестирование вопросов.

Выбор тестеров.

Задача редактора на стадии тестирования – узнать как можно больше о возможных претензиях к плодам его творчества, чтобы иметь возможность исправить недостатки. Если вопрос ругают игроки, значит, недоругали тестеры.

Читая комментарии к очередному пакету, несложно убедиться, что мнения знатоков по одному и тому же вопросу вполне могут быть прямо противоположными. Поэтому протестировать вопрос на ком-то одном в общем случае совершенно недостаточно. Желательно получить не просто несколько отзывов, а отзывы от людей с противоположными взглядами на то, что такое хороший вопрос. В частности, рекомендую в число тестеров пригласить хотя бы одного популярного редактора, с которым ваши вкусы сильно расходятся: весьма вероятно, что ему ваши вопросы тоже не понравятся, и вы получите нужный вам критический отзыв.

Кроме того, стоит подбирать уровень тестеров, чтобы он соответствовал уровню команд, которым предстоит играть пакет на турнире. Оптимальный вариант, как мне кажется – команда несколько выше ожидаемого среднего уровня и команда равного или несколько более высокого уровня, чем самые сильные команды турнира. От первой из них вы можете получить в первую очередь информацию по доступности требуемых знаний, сложности отсечения дуалей для основной массы участников и т.п. По отзывам второй – понять, сколько в вашем пакете будет кнопок для лидеров, и, соответственно, оценить, насколько вероятно развести их в итоговой таблице.

Что касается количества тестеров, то необходимо выдержать баланс: слишком малое число может не дать необходимого разнообразия мнений, слишком большое – уменьшить процент действительно полезной информации. Нет никакой принципиальной разницы, написали ли вам "Это кнопка" два тестера или десять, а вот время – и свое, и чужое – вы потратили. 2-3 тестера на каждом из шагов, столько же команд на финальной стадии – на мой взгляд, это максимум. Так как правило "80-20" применительно к обнаружению недостатков вопросов тоже действует, то в начале вполне можно обойтись одним комментарием, а затем увеличивать число тестеров по мере улучшения вопросов.

Процесс тестирования.

Тестирование лучше осуществлять в несколько шагов. Если речь идет о большом пакете, то его отдавать в тестирование стоит блоками по 20-40 вопросов по мере их готовности.

Первый шаг – отправка блока вопросов на вычитку 1-3 людям. Ожидая результатов, вы начинаете готовить следующий блок, а получив их – вносите кажущиеся вам уместными изменения. Когда вы готовите новую редакцию вопроса, имеет смысл поинтересоваться у того, кто подал вам мысль о ее необходимости, насколько новый вариант лучше. Но вполне может получиться, что в новом варианте появляются, например, дуали, которые вы, невольно ориентируясь на старую структуру вопроса, не замечаете. Поэтому тестировать свежую версию важно только на новых людях.

****

Исходный вариант:
Советский журналист писал, что издали ИХ крылья действительно напоминают руки. Неудивительно, что литературный персонаж ошибся – ведь и сейчас люди могут обманываться: удавалось ведь поначалу франкистам в глазах многих выглядеть, как силы добра и справедливости. Назовите ИХ двумя словами.

Ответ: ветряные мельницы.
Комм. Когда журналисту показали ветряные мельницы – предположительно, те самые, с которыми сражался дон Кихот – он отметил, что их крылья действительно напоминают огромные руки, а сами они – великанов. Далее он пишет, что неудивительно, что дон Кихот ошибся – вещи ведь не всегда являются тем, чем кажутся. Вот и франкистам удалось поначалу убедить многих испанцев выступить на их стороне против республиканцев.

Комм.: Очевидно. Много лишних слов. ИМХО, достаточно: Советский журналист писал, что издали ИХ крылья действительно напоминают руки. Неудивительно, что литературный персонаж ошибся… Назовите ИХ двумя словами.

Оттестировать новый вариант я не успел, и в пакет вопрос вошел в таком виде:

Анатолий Красиков пишет, что издали ИХ крылья действительно напоминают руки - неудивительно, что литературный персонаж ошибся. Назовите ИХ.

А на турнире оказалось, что версия "Пингвины" с отсылкой к "Острову Пингвинов" Франса подходит ничуть не хуже – тем самым объясняется, почему подслеповатый святой окрестил этих птиц.

***


На втором шаге получившийся блок вопросов может быть полезным отправить не только очередной паре человек на вычитку, но и на отыгрыш команде тестеров. По результатам повторить ту же процедуру и при наличии времени отправить на третий прогон третьей группе тестеров.

Анализ результатов.

Отзыв о вопросе условно можно разделить на две части: объективные претензии и субъективное впечатление. Объективная часть в общем случае более важна: это информация о некорректностях, дуалях, свечености вопроса. С субъективной составляющей все сложнее. С одной стороны, если одному конкретному игроку (или команде) вопрос не нравится, это еще не повод при отсутствии объективных недостатков убирать его из пакета. С другой, если большая часть тестеров называет вопрос скучным, не имеющим повода и т.д., это как минимум повод задуматься о его полезности для пакета.

Что писать в отчете?
По каждому вопросу желательно сообщить как можно больше информации. Ее можно разбить на несколько блоков, а именно:
а) объективные претензии к вопросу (некорректности, дуали, лишние слова и т.д.);
б) субъективное мнение о вопросе (хорошо/плохо, "нет повода для вопроса", "скучно" и т.п.);
в) предложения по улучшению вопроса;
г) грамматические и пунктуационные ошибки (несогласование слов, лишние (задвоенные и т.п.) слова, пропущенные знаки препинания).

Разумеется, каких-то блоков может не быть, но не надо пропускать какую-то информацию только потому, что вы считаете вопрос по какой-либо причине некачественным. Подумайте над возможными дуалями даже в том случае, если вопрос кажется вам необычайно скучным. Возможно, какие-то высказанные вами мысли помогут редактору найти новый подход к вопросу.
Tags: chgk, editing
Subscribe

  • Разное

    На днях видел в ЖЖ пост: расскажите о кумирах ваших детей - чей постер висит у ребенка в комнате? Ну, единственный постер, который в детстве висел…

  • Вокруг медицины

    Когда в прошлую среду у меня внезапно стал ныть зуб, я обеспокоился и попытался записаться к своему врачу. Внезапно оказалось, что все не так просто:…

  • Thorin sits down and sings about gold

    Прочитал вчера про Кристофера Толкина. 95 лет - хорошая жизнь, и он явно сделал больше, чем мы все были вправе от него ожидать. Пара…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments