Mike Ivanov (mikeiva) wrote,
Mike Ivanov
mikeiva

Category:
  • Music:

Бета-тестирование: бета-версия. Часть 1: Методы тестирования

Я еще довольно давно грозился написать свои соображения по поводу бета-тестирования вопросов - в первую очередь, в помощь не имеющим большого опыта редакторам. В общих чертах я этот текст собрал, но последние месяца полтора больше погружен в практическую сторону этого вопроса, чем в теоретическую :) Так что довести до ума и дописать совершенно некогда. В общем, я слегка причесал получившееся и выкладываю этот полуготовый продукт. Вы посоветуете, о чем еще стоит в такой статье написать, и когда-нибудь я это, возможно, сделаю :) Ну а кому-то, возможно, пользу этот текст принесет и в нынешнем виде. Для удобства разбиваю его на две части.



Первое и главное соображение вполне очевидно, но иногда складывается впечатление, что его упускают его из виду. Вы тестируете пакет для того, чтобы его улучшить. Эта фраза справедлива, независимо от того, какова ваша роль в процессе – являетесь ли вы тестером или редактором. Если редактор заранее уверен, что у него отличный пакет, и настроен ничего не менять, то не стоит тратить напрасно чужое время. Если тестер прислал отзыв "все отлично, молодцы!", то напрасно потратил время редактор, ожидая его ответа.

Метод тестирования.

Процесс тестирования можно условно классифицировать по двум критериям: во-первых, тестируется набор вопросов или готовый пакет; во-вторых, происходит ли собственно тестирование, т.е. отыгрыш вопросов командой, или вычитка вопросов одним игроком.

Набор вопросов или готовый пакет?

Различие между этими способами состоит даже не столько в количестве присылаемых на тестирование вопросов (в случае небольшого пакета может быть бессмысленно делить его на части), сколько в подходе редактора: отдает ли он вопросы, часть из которых может войти в пакет, или пакет, в котором еще могут быть сделаны некоторые изменения.

Эти два способа тестирования преследуют, по сути, разные цели. Тестирование вопросов – это получение первичного отзыва по их качеству и выверка свечек (в эпоху многочисленных мораториев проверка по базе не решает главной проблемы – свежих, еще не забытых свечек). По сути, это возможность посмотреть на имеющийся у вас материал свежим взглядом. Если вы готовите большой пакет, необходимо тестировать вопросы для него частями, а не ждать предфинальной сборки.

Во-первых, если вы пришлете сразу большое количество вопросов, то тестерам будет нелегко их оперативно оценить. Не стоит забывать, что они, скорее всего, соберутся в будний день, после работы/учебы. В результате более или менее адекватные результаты вы получите только по первой части пакета: до конца тестеры либо не доберутся, либо, если они люди ответственные, дойдут, но не смогут отыграть на уровне. Если учесть, что, как я писал, в конец пакета лучше ставить наиболее сложные и красивые вопросы, а "финишная прямая" наиболее важна для формирования общего впечатления о результатах вашего труда, то подобное искажение нежелательно. Я полагаю, что оптимальный объем тестирования - 20-40 вопросов.

Во-вторых, тестирование вопросов частями по мере подготовки дает время учесть полученные замечания и скорректировать график работы. Одно дело – узнать, что 10 вопросов никуда не годятся, за месяц, другое – за три дня до срока сдачи пакета.

Тестирование пакета в предфинальной версии желательно, но не обязательно, если проводилось тестирование вопросов. В таком случае цель тестирования – в первую очередь исправление ошибок расстановки (например, стоящие почти подряд несколько вопросов по одной тематике, пропущенные замыленным глазом). Конечно, при этом будут получены какие-то отзывы и по вопросам, но если вы тщательно провели тестирование на подготовительной стадии, то не сокрушительной силы.

Командный отыгрыш или вычитка?

Я полагаю, что эти два метода должны применяться параллельно. Преимущество командного отыгрыша – более адекватная оценка сложности вопросов (особенно в части степени распространенности требуемых знаний) и генерация альтернативных версий. Однако если вы лично при тестировании не присутствуете, то обо всем происходившем вы узнаете из отчета одного из игроков. Что-то он мог во время игры упустить из виду, какие-то тонкости к моменту написания отчета может просто забыть ("была какая-то альтернативная версия, но…"). Кроме того, в команде выше вероятность взятия вопроса прямым знанием, после чего он, возможно, не получит порции достаточно критического внимания.

Вычитка одним или парой игроков имеет свои преимущества. Во-первых, комментарий, скорее всего, будет писаться прямо по ходу дела. Во-вторых, если вы попросите об этом опытного редактора, то он укажет на стилистические шероховатости вопроса, может подсказать способ его улучшить каким-то радикальным изменением формулировки (конечно, очень желательно, чтобы такой человек писал отчет и о командном тестировании, но это не всегда зависит от вас). Еще один важный фактор – время: результат вычитки можно получить быстрее, чем командного отыгрыша, ведь найти пару часов, чтобы прочитать пакет и высказать замечания, проще, чем собрать команду, а потом написать комментарий. Кроме того, на вычитку вполне можно отправить и всего несколько вопросов, в то время как просить команду собираться ради малого их числа может быть не вполне удобно.

Таким образом, я бы рекомендовал большую часть тестирования проводить в виде вычитки, а когда вопрос уже близок к окончательной формулировке, включать его в блок для командного отыгрыша.
Tags: chgk, editing
Subscribe

  • О злоупотреблении аббревиатурами

    Коллега по просьбе конструкторов сделал им новую фичу и кратенько описал, как пользоваться. В инструкции - фраза вроде "чтобы прикрепить файлы,…

  • Карантиножизненное

    Дорогое мироздание явно против интеллектуальных игр онлайн. Обычно я с недоумением воспринимаю какие-нибудь претензии к скайпу как средству связи.…

  • Карантинное

    В марте сидел в отпуске, и как-то раз подключился к рабочему компу через anydesk, в основном - чтобы посмотреть, как оно будет работаться (результат:…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 14 comments

  • О злоупотреблении аббревиатурами

    Коллега по просьбе конструкторов сделал им новую фичу и кратенько описал, как пользоваться. В инструкции - фраза вроде "чтобы прикрепить файлы,…

  • Карантиножизненное

    Дорогое мироздание явно против интеллектуальных игр онлайн. Обычно я с недоумением воспринимаю какие-нибудь претензии к скайпу как средству связи.…

  • Карантинное

    В марте сидел в отпуске, и как-то раз подключился к рабочему компу через anydesk, в основном - чтобы посмотреть, как оно будет работаться (результат:…