(Double Dutch Contest 2017-2) 審査方法について考える -予選
Double Dutch Contes Japan 2017(ダブルダッチコンテストジャパン2017)が行われましたね。
今回の記事は、下記の記事に続いて2つ目です。
ちなみに、私は今年スピードジャッジをしましたが、スピードのジャッジだけをやりました。スピードを含めたルールの作成、当日の運営には一切関わっていないことを先にお知らせしておきます。
予選はFINALに残る人を決める場所
まずはDouble Dutch Contest Japan 2017(予選)について。審査方法をHPから引用しますと、
【 DOUBLE DUTCH CONTEST JAPAN 2017 審査方法 】
- パフォーマンスの内容が、DOUBLEDUTCH CONTEST JAPAN FINAL 2017出場にふさわしいかどうかを審査する。
- 1人の審査員につき1点から5点で審査する。
- 全審査員の合計得点の上位チームを決勝戦出場チームとして選抜する。
- 同点の場合は獲得した各審査員の得点のうち、高得点の数が多いチームを上位とする。(例)5点の数が同じだった場合は、4点の数が多いチームが上位となる。4点の数も一緒の場合は、3点の数が多いチームが上位となる。以下同様にして上位を決めるが、全ての点数が同じだった場合は、ミスの数を参考にして審査員による話し合いで順位を決定する。
- タイムオーバーをした場合は失格とする。
- コンテストルール 3)禁止事項 に該当する行為を行った場合、出場停止及び失格とする。
一番重要なことは、この予選は「FINAL出場にふさわしいかどうかを審査する」ということです。
今年のオープン部門は10チームがFINALにいけますが、この10チームに順位をつけることに重きは置かれていないということです。
では、この予選の審査で一番大事なことはなんでしょうか。
それは、10位までと11位以下を明確に分けることです。もう少し言うと、ギリギリのラインにいるチームの順位を明確につけることです。
明確、というのは、審査員がスコアを提出した段階で、一意に結果が決まっているということを表しています。言い換えると、審査員が最後のチームの点数をつけた段階で結果が決まっているのが理想ということです。
(もちろん、集計作業は必要ですが、これは機械的な作業(手順が決まっていて、私情を挟む余地が無い作業)で、結果に影響しません。)
今回のルールでは、「ミスの数を参考にして審査員による話し合いで順位を決定する。」という部分が「明確」の部分に反しています。
今回の審査結果には「明確でない」ものがある
では審査結果を見てみましょう。
順位 | 総得点 | 5点 | 4点 | 3点 | 2点 | 1点 | ミス |
1 | 38 | 6 | 2 | 0 | 0 | 0 | 2 |
2 | 37 | 5 | 3 | 0 | 0 | 0 | 0 |
3 | 37 | 5 | 3 | 0 | 0 | 0 | 2 |
4 | 36 | 5 | 2 | 1 | 0 | 0 | 4 |
5 | 36 | 5 | 2 | 1 | 0 | 0 | 6 |
6 | 35 | 5 | 1 | 2 | 0 | 0 | 2 |
7 | 32 | 3 | 3 | 1 | 1 | 0 | 1 |
8 | 32 | 3 | 3 | 1 | 1 | 0 | 3 |
9 | 32 | 2 | 4 | 2 | 0 | 0 | 9 |
10 | 31 | 3 | 3 | 1 | 0 | 1 | 0 |
11 | 31 | 2 | 4 | 1 | 1 | 0 | 2 |
12 | 31 | 1 | 6 | 0 | 1 | 0 | 4 |
13 | 31 | 0 | 7 | 1 | 0 | 0 | 7 |
14 | 30 | 2 | 4 | 0 | 2 | 0 | 5 |
15 | 29 | 1 | 4 | 2 | 1 | 0 | 0 |
16 | 29 | 1 | 4 | 2 | 1 | 0 | 2 |
17 | 29 | 1 | 4 | 2 | 1 | 0 | 11 |
18 | 29 | 0 | 6 | 1 | 1 | 0 | 5 |
19 | 29 | 0 | 5 | 3 | 0 | 0 | 7 |
20 | 29 | 0 | 5 | 3 | 0 | 0 | 7 |
21 | 28 | 0 | 5 | 2 | 1 | 0 | 4 |
22 | 27 | 1 | 3 | 2 | 2 | 0 | 5 |
23 | 27 | 1 | 2 | 4 | 1 | 0 | 8 |
24 | 27 | 0 | 5 | 2 | 0 | 1 | 3 |
25 | 27 | 0 | 4 | 3 | 1 | 0 | 4 |
26 | 27 | 0 | 4 | 3 | 1 | 0 | 10 |
27 | 26 | 0 | 4 | 3 | 0 | 1 | 6 |
28 | 25 | 0 | 4 | 2 | 1 | 1 | 5 |
29 | 25 | 0 | 3 | 3 | 2 | 0 | 6 |
30 | 25 | 0 | 2 | 5 | 1 | 0 | 5 |
今回、10位と11位はこのルールで問題なく分けられています。(10位と11位は31点の同点ですが、5点の数が10位の方が多いです)
しかし、ギリギリのラインを見ると話は少し変わります。
まずは32点の7,8位。5-1点の審査員分布は同じです。この時点で、「ミスの数を参考にして審査員による話し合いで順位を決定する。」という部分が登場します。
次に、29点の15,16,17位、そして同じく29点の19,20位、27点の25,26位も同様です。
今回のボーダーラインが31点であることを考えると、27点~32点のチームが状況次第で決勝に残れたり残れなかったりする場所であることは容易に想像がつきます。
その中で4箇所9チームがこの「明確でない」ルールの適用を受けているわけです。
この不明確さは裏取引を連想させるために排除することが望ましいはずで、早急に対策が望まれます。
*疑問に思うのは、なぜ「ミス数で順位付けする->それも同じなら話し合い」にしなかったのか、ということです。これでも問題は残りますが、これだけで4箇所9チーム、から1箇所2チームに適用チームが減ります。
改善案:FINALに関係ないチームは最低点
では上記のことを踏まえて、どのような改善案が考えられるでしょうか。
ルールを根本的に変えるのも一案です。ただ、これは「改善」というより「新規作成」なので今回は取り扱いません。
今のルールの基本的な考え方には賛成なので、少しの修正・運用面での改善、で対応できる部分について書いていきます。
私の提案は、「130チーム中、100チームくらいに最低点をつけること」です。
今回は1-5点の採点ですので、100チームに1点をつけ、残りの30チームに2-5点をつけるということです(100と30という数字は適当ですので、この数は議論の余地あり)。
理由を説明します。
まず、上でも書いていますが、この予選は「FINAL出場にふさわしいかどうかを審査する」ということを思い出してください。
これは言い換えると、「FINAL出場に無関係のチームの順位をつけることは目的の外である」、ということです。
出場チームの参考になるので全チームの順位を比較できた方が良いでしょ、という意見があると思います。全くもって異論はありません、可能ならば。
できた方が良いのはそうなのですが、現時点で一番大事な目的である、FINALISTを明確に選ぶ、ということができていないのにそこを考えるのは本末転倒です。
多少余裕(マージン)をもって、30チームくらいをFINALにいく可能性を認めることにしましょう。(再度、この30という数字は議論の余地あり)
それより下のチームは1点です。審査員によって多少の違いはあれども、かなりのチームは1点x8人=8点になると思います。10点以下のチームが大半を占めるでしょう。
そうすると、11点~40点の30点の範囲でFINALに残れるかどうかの審査を行えるようになるのです。
今回の結果を見ると、1~30位までで14点であり、ざっくりと2倍細かい審査が行えるようになります。
参考1:今回、1-40位までで17点、1-50位までで19点
参考2:今回は8~40点の最大33点分ありますが、例えば30チームを見るとしただけで既に同点のチームが3チーム以上出ますね。いわんや14点分をや。
注意:各審査員がそれぞれ30チームに2~5点をつけたとすると、11~40点にいるチームは30チームを超える可能性があります(ぱっと数字を見積もれませんでしたが、イメージでは40チームくらい)。ただし、今回の結果は11~40点に118チームいるわけで、大幅な改善になっていることは確実です。
今回2点には意味があったか
今回、審査員Aがチーム1に2点をつけたとしましょう。審査員Aはチーム1がFINALに残れると少しでも思っていたでしょうか。
多分、違います。これは単なる推測でしかないですが、例えば100位以下のチームに2点や3点がついていることからほぼ明らかでしょう。
そもそも130チームいるなかで100位以下のチームを10位以内の可能性があると判断する人は審査員に適していると思えませんよね。
ここから分かることは、実際には、審査員がFINALに残る資格があるかどうか、3段階か2段階でしか評価していなかったということです。
1,2点のチームがFINALに残れると思っていない審査員は3,4,5点の3段階
1,2,3点のチームがFINALに残れると思っていない審査員は4,5点の2段階
3段階の場合、
5点:FINAL出場を自信を持って薦める
4点:FINAL出場を薦める
3点:FINAL出場する可能性を認める
2点:FINAL出場は認められないが、1点よりは良い
1点:FINAL出場を認めない
2段階の場合、
5点:FINAL出場を薦める
4点:FINAL出場の可能性を認める
3点:FINAL出場は認めないが、あと一歩でFINAL出場の可能性に引っかかる
2点:FINAL出場は認められないが、1点よりは良い
1点:FINAL出場を認めない
くらいの意味になると推測します。
私の提案する運用をすると、4段階審査システムで、こんな意味でしょう。
5点:FINAL出場を確信している
4点:FINAL出場を自信をもって薦める
3点:FINAL出場を薦める
2点:FINAL出場する可能性を認める
1点:FINAL出場を認めない(100チームくらい)
更に言うと、0点の審査を追加すると5段階審査システム
5点:FINAL出場を確信している
4点:FINAL出場を自信をもって薦める
3点:FINAL出場を薦める
2点:FINAL出場の可能性を認める
1点:FINAL出場の可能性を多少認める
0点:FINAL出場を認めない(100チームくらい)
更に更に、10点まで幅を広げると更に精度は増しますが、その分審査員の負担が増えます。これは実際にやってみないと分かりませんが、5段階審査システムくらいで十分点数の切り分けが可能だと思います。
30チームに対して50点あるわけですしね。
参考:今回は検討しませんでしたが、5段階審査システムで、どの点数にどれくらいのチームを分配するのが適当かを予め大体決めておいた方が良いと思います。全ての点数に同じチーム数にするのか、正規分布のように3点を一番多くして1点と5点を少なくするのか。
これは今後の課題ですね。感覚的にはそれぞれの点数に同じくらいのチーム数を置いた方が点数分布が均等にいく可能性が高い気がします。
最後に
今回は30チームに対して14点差、これの範囲をどこまで広げれば「明確」に結果が出るのかは試行錯誤が必要です。
しかし、少なくとも現状の「審査員による話し合い」による審査を行わないように改善するべきであることは明らかで、この記事をもってDouble Dutch Contest実行委員会への改善要求としたいと思います。
*不測の事態に備えるために「審査員による話し合い」の項目を残しているのはありだと思います。ただし、それを使うのは下策で不名誉なことだと思います。
*以前に書いた採点システムについての記事が下記にあります。上記以外のことについても書かれていますので参考にどうぞ。