Mike Ivanov (mikeiva) wrote,
Mike Ivanov
mikeiva

Categories:
  • Music:

System.OpenDialog, или Почему система микроматчей непригодна для подведения результатов турниров

Пост получается довольно большим, так что спрячу я его под кат. Сразу напишу: я не призываю корректировать результаты текущего либо прошедших чемпионатов Саратова, а выбрать другую систему для следующих.

Чтобы пояснить, чем плоха система микроматчей, сформулируем сначала несколько общих соображений.

1. Что мы пытаемся определить.

Чемпионат предназначен для определения соотношения сил команд. Условимся, что сила команды - это ее способность брать вопросы: чем больше сила команды, тем выше ожидаемое количество вопросов, которое она возьмет при некотором испытании. Если вы не согласны с данным утверждением, не тратьте время на чтение этого длинного текста.

Результатом чемпионата является список, в котором команды отранжированы по силе.

Сила команды - величина условная: мы не можем измерить ее в чистом виде и выразить ее абсолютное значение. "Физическим смыслом" обладает соотношение сил двух команд: предполагается, что та, у которой сила больше, возьмет больше вопросов при игре на одном и том же пакете.

Здесь необходимо отметить, что важной характеристикой соотношения сил команд является транзитивность. Т.е. если команда А сильнее команды Б, а Б - сильнее В, то А сильнее В. Полагаю, это достаточно очевидно следует из предыдущего абзаца.

Измерение силы команд основывается на следующем предположении: если в результате некоторого эксперимента команда А взяла больше вопросов, чем команда Б, то она сильнее. Естественно, условия эксперимента должны обеспечивать достоверность его результатов, что достигается, в частности, большим размером пакета. Чем больше вопросов будет задано, тем выше достоверность результата.

Разумеется, результат команды в конкретном турнире - функция не только от ее силы в данный момент времени, но и от пакета со всей его специфичностью. Иначе быть не может, и не имеет смысла говорить о том, что результат команды на одном пакете соответствует ее реальной силе, а на другом - нет (мы здесь не рассматриваем случаи жульничества). Это врожденная особенность нашего метода измерения.

Аналогичная ситуация, к примеру, в теннисе. Игры могут проходить на разных кортах: харде, земле, траве; покрытие конкретного корта в рамках своего типа может быть более или менее быстрым, иметь неровности и т.п.; организаторы турнира могут выбрать более тяжелые или более легкие мячи. Точно так же, как теннисисты не могут повлиять на эти параметры крупных турниров, игроки в ЧГК не могут требовать некой абсолютной нейтральности пакета(ов) вопросов по ходу чемпионата.

Тем не менее, никто не предлагал не брать в расчет, к примеру, результаты Надаля на грунте, потому что они существенно превосходили его результаты на траве или харде. Условия соревнований такие, какие они есть, и говорить о "везении" и т.д. не приходится.

2. Критикуемая мной система.

Так как чемпионат Саратова проходит в несколько туров, часть которых проводят команды-участники, сравнивать общее количество взятых вопросов напрямую невозможно. Сейчас применяется следующая система.

По результатам каждого тура чемпионата для каждой пары команд фиксируется, какая из них взяла больше вопросов. Эта команда получает "гол" против второй команды пары. После проведения всех туров для каждой пары считается, какая из команд "забила больше голов", и эта команда получает 2 очка, потерпевшая поражение - 0, при ничьей - обе команды по 1 очку.

3. Искажения, вносимые системой микроматчей.

Первое искажение результатов, вносимое этой системой, можно увидеть на следующем примере.

Рассмотрим команды А и Б. Каждая из них сыграла 5 туров чемпионата. Команда А во всех пяти брала по 15 вопросов. Команда Б в четырех турах взяла 14 вопросов, а в пятом - 25.

Система микроматчей приводит нас к выводу, что А победила по микроматчам 4-1. В то же время, на одном и том же множестве вопросов команда А взяла 75, а команда Б - 81. Таким образом, очевидно, что на самом деле измеренная сила команды Б выше, чем команды А.

Кроме того, если мы поменяем порядок вопросов, то вполне сможем найти такие варианты, в которых по системе микроматчей команда Б победила со счетом от 3-2 до 5-0, т.е. применение системы микроматчей вносит непредсказуемые искажения в наиболее чистый из возможных результатов измерений. При этом сложно сказать, чем именно вызвана необходимость делить результаты на туры, если каждая пара команд сравнивается на множестве вопросов, на котором возможно прямое сравнение.

Таким образом, в системе микроматчей мы сравниваем не силу команд, а некую другую функцию, которая в отдельных случаях выдает тот же результат.

Это подтверждается следующим соображением. Как я писал выше, сравнение сил команд - транзитивное отношение. Однако в системе микроматчей возможна ситуация, в которой команда А выиграла у Б, Б - у В, и В - у А. Таким образом, транзитивности не наблюдается, значит полученная нами функция не соответствует требованиям к функции измерения силы команд.

Кроме того, в дальнейшем результаты соревнования команд искажаются повторно. Мы начали с того, что цель чемпионата - отранжировать команды в соответствии с их силой. Соответственно, если считать, что неизвестная функция, о которой шла речь выше, выдала действительно некое соотношение сил команд, то оно должно перейти в итоговую таблицу. Очевидно, что в противоположном случае какое-то из этих соотношений заведомо неверно - либо полученное по результатам "матча", либо попавшее в итоговую таблицу.

В качестве примера рассмтрим ситуацию в текущем чемпионате Саратова. Предположим, что последний тур лидирующие команды закончат в таком порядке: Эконом, Дилемма, Сирвента, Джокер. В таком случае "Дилемма" выиграет у "Сирвенты" 3-2, но чемпионом станет "Сирвента", а "Дилемма" займет 3 место.

В некоторых случаях искажения первого и второго отображений компенсируют друг друга. Продолжая рассматривать ситуацию с "Дилеммой" и "Сирвентой", мы увидим, что после 6 туров чемпионата Саратова в матче между ними равенство - 2-2. При этом из отыгранных этими командами 4 туров (КуПр, ОКР, 2 тура саратовских команд - 150 вопросов) "Сирвента" взяла 88, а "Дилемма" - 71, т.е. разница в измеренной силе команд - 24% от результата "Дилеммы". Можно говорить о том, что применение микроматчей добавляет в их противостояние интриги, но явно не отражает реальной ситуации. В последнем туре это нарушение может как быть, так и не быть исправлено. Если "Дилемма" отыграет менее 17 вопросов, будет вполне разумно, что она займет более низкое место в таблице, если более 18 - она програет, взяв больше вопросов. Отдельно отметим, что ситуация, в которой эти команды наберут поровну очков, невозможна, даже если "Дилемма" отыграет 17 вопросов и, таким образом, покажет равный результат на дистанции 180 вопросов.

Таким образом, несложно заметить, что система микроматчей не обеспечивает достоверного определения соотношения сил команд и не отражает его в итоговой таблице чемпионата.

UPD: скрыл изрядную часть комментов: не по теме поста и вызванные этим ветки обсуждения, и те, в ответе на которые мне приходилось еще раз пересказывать уже написанное в посте.
Tags: chgk
Subscribe

  • О квантовой природе реальности

    С час назад решил узнать, как там дела в уимблдонском полуфинале. Открыл текстовую трансляцию - Федерер вел 1:0 по сетам и имел два брейк-пойнта.…

  • 20

    Федерер крутой, конечно. В прошлом году его выход в финал был невероятным сюрпризом. В этом году этого вполне можно было ожидать, но все же очередная…

  • Очередное разное, в основном про воскресенье

    Так как вчера у нас было +28 уже с утра, то я отправился на работу в шортах. Второй день то и дело кто-нибудь из коллег с надеждой спрашивает "А что,…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 79 comments

  • О квантовой природе реальности

    С час назад решил узнать, как там дела в уимблдонском полуфинале. Открыл текстовую трансляцию - Федерер вел 1:0 по сетам и имел два брейк-пойнта.…

  • 20

    Федерер крутой, конечно. В прошлом году его выход в финал был невероятным сюрпризом. В этом году этого вполне можно было ожидать, но все же очередная…

  • Очередное разное, в основном про воскресенье

    Так как вчера у нас было +28 уже с утра, то я отправился на работу в шортах. Второй день то и дело кто-нибудь из коллег с надеждой спрашивает "А что,…