Выбор тестеров.
Задача редактора на стадии тестирования – узнать как можно больше о возможных претензиях к плодам его творчества, чтобы иметь возможность исправить недостатки. Если вопрос ругают игроки, значит, недоругали тестеры.
Читая комментарии к очередному пакету, несложно убедиться, что мнения знатоков по одному и тому же вопросу вполне могут быть прямо противоположными. Поэтому протестировать вопрос на ком-то одном в общем случае совершенно недостаточно. Желательно получить не просто несколько отзывов, а отзывы от людей с противоположными взглядами на то, что такое хороший вопрос. В частности, рекомендую в число тестеров пригласить хотя бы одного популярного редактора, с которым ваши вкусы сильно расходятся: весьма вероятно, что ему ваши вопросы тоже не понравятся, и вы получите нужный вам критический отзыв.
Кроме того, стоит подбирать уровень тестеров, чтобы он соответствовал уровню команд, которым предстоит играть пакет на турнире. Оптимальный вариант, как мне кажется – команда несколько выше ожидаемого среднего уровня и команда равного или несколько более высокого уровня, чем самые сильные команды турнира. От первой из них вы можете получить в первую очередь информацию по доступности требуемых знаний, сложности отсечения дуалей для основной массы участников и т.п. По отзывам второй – понять, сколько в вашем пакете будет кнопок для лидеров, и, соответственно, оценить, насколько вероятно развести их в итоговой таблице.
Что касается количества тестеров, то необходимо выдержать баланс: слишком малое число может не дать необходимого разнообразия мнений, слишком большое – уменьшить процент действительно полезной информации. Нет никакой принципиальной разницы, написали ли вам "Это кнопка" два тестера или десять, а вот время – и свое, и чужое – вы потратили. 2-3 тестера на каждом из шагов, столько же команд на финальной стадии – на мой взгляд, это максимум. Так как правило "80-20" применительно к обнаружению недостатков вопросов тоже действует, то в начале вполне можно обойтись одним комментарием, а затем увеличивать число тестеров по мере улучшения вопросов.
Процесс тестирования.
Тестирование лучше осуществлять в несколько шагов. Если речь идет о большом пакете, то его отдавать в тестирование стоит блоками по 20-40 вопросов по мере их готовности.
Первый шаг – отправка блока вопросов на вычитку 1-3 людям. Ожидая результатов, вы начинаете готовить следующий блок, а получив их – вносите кажущиеся вам уместными изменения. Когда вы готовите новую редакцию вопроса, имеет смысл поинтересоваться у того, кто подал вам мысль о ее необходимости, насколько новый вариант лучше. Но вполне может получиться, что в новом варианте появляются, например, дуали, которые вы, невольно ориентируясь на старую структуру вопроса, не замечаете. Поэтому тестировать свежую версию важно только на новых людях.
****
Исходный вариант:
Советский журналист писал, что издали ИХ крылья действительно напоминают руки. Неудивительно, что литературный персонаж ошибся – ведь и сейчас люди могут обманываться: удавалось ведь поначалу франкистам в глазах многих выглядеть, как силы добра и справедливости. Назовите ИХ двумя словами.
Ответ: ветряные мельницы.
Комм. Когда журналисту показали ветряные мельницы – предположительно, те самые, с которыми сражался дон Кихот – он отметил, что их крылья действительно напоминают огромные руки, а сами они – великанов. Далее он пишет, что неудивительно, что дон Кихот ошибся – вещи ведь не всегда являются тем, чем кажутся. Вот и франкистам удалось поначалу убедить многих испанцев выступить на их стороне против республиканцев.
Комм.: Очевидно. Много лишних слов. ИМХО, достаточно: Советский журналист писал, что издали ИХ крылья действительно напоминают руки. Неудивительно, что литературный персонаж ошибся… Назовите ИХ двумя словами.
Оттестировать новый вариант я не успел, и в пакет вопрос вошел в таком виде:
Анатолий Красиков пишет, что издали ИХ крылья действительно напоминают руки - неудивительно, что литературный персонаж ошибся. Назовите ИХ.
А на турнире оказалось, что версия "Пингвины" с отсылкой к "Острову Пингвинов" Франса подходит ничуть не хуже – тем самым объясняется, почему подслеповатый святой окрестил этих птиц.
***
На втором шаге получившийся блок вопросов может быть полезным отправить не только очередной паре человек на вычитку, но и на отыгрыш команде тестеров. По результатам повторить ту же процедуру и при наличии времени отправить на третий прогон третьей группе тестеров.
Анализ результатов.
Отзыв о вопросе условно можно разделить на две части: объективные претензии и субъективное впечатление. Объективная часть в общем случае более важна: это информация о некорректностях, дуалях, свечености вопроса. С субъективной составляющей все сложнее. С одной стороны, если одному конкретному игроку (или команде) вопрос не нравится, это еще не повод при отсутствии объективных недостатков убирать его из пакета. С другой, если большая часть тестеров называет вопрос скучным, не имеющим повода и т.д., это как минимум повод задуматься о его полезности для пакета.
Что писать в отчете?
По каждому вопросу желательно сообщить как можно больше информации. Ее можно разбить на несколько блоков, а именно:
а) объективные претензии к вопросу (некорректности, дуали, лишние слова и т.д.);
б) субъективное мнение о вопросе (хорошо/плохо, "нет повода для вопроса", "скучно" и т.п.);
в) предложения по улучшению вопроса;
г) грамматические и пунктуационные ошибки (несогласование слов, лишние (задвоенные и т.п.) слова, пропущенные знаки препинания).
Разумеется, каких-то блоков может не быть, но не надо пропускать какую-то информацию только потому, что вы считаете вопрос по какой-либо причине некачественным. Подумайте над возможными дуалями даже в том случае, если вопрос кажется вам необычайно скучным. Возможно, какие-то высказанные вами мысли помогут редактору найти новый подход к вопросу.
