「川越達也の抜き打ち発掘レストラン」採点結果の平均点を計算

テレビ番組お願い!ランキングで不定期に川越達也の抜き打ち発掘レストラン！という企画が放送されています。このページの内容紹介によると

美食アカデミーでもお馴染みの川越シェフと
進行のハライチが、
街の隠れた名店を発掘するべく突撃取材！
その場で直接取材交渉し、撮影OKの場合、
その店に自慢の料理を出してもらい川越シェフが試食！
100点満点でガチ採点しランキングを作成する企画！

とのことで、レストランで出された料理を採点していくという番組です。発掘場所を変えながらこれまで何度か放送されており、１放送あたりおよそ４店のレストランの料理を採点しています。

ある程度の採点データがあるので平均値を算出してみました。

採点結果の平均値

まず採点結果の分布を見ます。
９０点、９５点、１００点のキリが良い数字が多いことから、厳密な採点基準があるのではなく川越シェフによるフィーリングで採点されているようです。

単純に計算すれば平均点は９３．８点となります。
しかし、発掘場所や取材対象レストラン、川越シェフの気分などの不確定で偶然的な要素も考慮して平均を求めた方が良いので、ここではブートストラップ法で平均値を求めてみます。
実際に計算すると平均値の９５％信頼区間（BCa 法 (bias-corrected and accelerated percentile method)による）は、92.79～94.87点となりました。

したがって、川越シェフの採点結果から、統計学に基づいて次のように料理の味を判断できます（あくまでも川越シェフの主観ですが）。

• ９２点以下の料理は平均より美味しくないといえます
• ９３点から９４点の料理は平均的な味といえます
• ９５点以上の料理は平均より美味しいといえます

ところで、上の図をみると８０点のデータだけ他の得点と比べて低すぎるので、外れ値（異常値）の可能性があります。
そこで８０点のデータだけを無視して上と同じ計算をしました。
単純な平均点は９４．０点でした。
ブートストラップ法による平均点の信頼区間は、93.03～95.04点となりました。

したがって

• ９３点以下の料理は平均より美味しくないといえます
• ９４点から９５点の料理は平均的な味といえます
• ９６点以上の料理は平均より美味しいといえます

といえます。

８０点を外れ値と見るかどうかで結果が若干異なるのですが、９６点以上を獲得した料理であれば平均よりは美味しいと自信をもって言えそうです。

参考サイト

得点データは次のサイトから取得しました。

おんたまちゃん日記
NAVERまとめ　川越達也の抜き打ち発掘レストラン！
お願い！ランキング　詳細情報

TOEICで満点（９９０点）を取った人は何人か？

TOEICで満点のスコアである９９０点を取った人は何人いるのか気になったので、その人数を推定してみました。

TOEICの公式ホームページでTOEICの平均スコア・スコア分布が公開されており、そのページを見ればスコア区分（５０点刻み）ごとの人数はわかります。しかし、不思議なことに８９５から満点の９９０点までは刻み幅が９５に拡大されており、ここだけデータの間隔が粗くなっています。そのため、このスコア分布をただ見ただけでは満点（９９０点）を取った人が何人いるのか見当がつきません。

もし最低スコア１０点から最高スコア９９０点まで、スコアごと（５点刻み）の人数が推定できれば、満点を取った受験者数を推定することができます。

TOEICは頻繁に実施されています。どの実施回のデータを分析対象にしても良いのですが、この記事では第177回（2013年1月)[受験者数：106,477人]のTOEICスコアを分析対象にします。

スコアごとの人数推定

とりあえず参考までに公開されているTOEICのスコア分布（トータルスコアとリスニング・リーディングスコア区分ごとの人数）のグラフを見ておきます。

さて、公開されているスコア分布表にはスコア区分ごとの人数しか書かれていないので、この表からスコアごとの人数までは当然ながらわかりません。しかし、後述する方法によりこのデータだけから１０～９９０まで５刻みでスコアごとの人数を推定しました。
下図がそのグラフです。横軸はスコアで、縦軸はそのスコアを取った受験者の推定人数を表しています。
スコアごとの人数の一覧表は参考までに後半に載せておきました。

図からわかるように、満点スコア９９０のところでいきなり人数が急増しています。一見すると９９０だけ振る舞いが異なるため計算間違いのように思えますが、次のように考えればこの結果は合理的と考えられます。

まず、９９０より低いスコア（たとえば８００）の場合で考えると、そのスコアの人数が意味することは、スコアちょうどの英語力を持っている受験者がその人数だけいるということです。
しかしスコア９９０の場合には人数の意味する内容が異なると考えられます。９９０を取った受験者の内訳を想像してみると、９９０ちょうどの実力を持っている人もいれば、９９０を遥かに超える英語力を持っていても、TOEICの満点９９０を超えるスコアを取ることは不可能なので結果的に９９０となった人もいます。すなわち、スコア９９０の人数には９９０以上の英語力を持った受験者すべてが含まれていることになるため、９９０の人数が急増したと考えられます*1。

問題のスコア９９０を達成した受験者の人数ですが、後述するスコア別推定人数の一覧表をみると、満点９９０を達成した人は全受験者の０．３３％と推測されます。
実際、TOEIC 全国公開試験で満点 990 を獲得せよによると、

第１０５回（２００４年３月）全国公開試験において受験者の何人が 990 満点を獲得したかは、990 満点を獲得した受験者のスコアレポートに記載されている Percentile Rank の数字で推測できます。過去の公開試験では、この数字が 99.7 / 99.8 / 99.9 / 100.0 のことがありました。

とのことで、９９０を獲得した人の割合は０．３％から０．０％であったことがわかります。この数字は本記事での推定割合０．３３％と非常に近いので、スコア別人数推定値は案外いい線いっていると思います。
ちなみに、この引用文にあるPercentile Rank（パーセンタイルランク）とは、下位者100分比（％）のことで、そのスコアに満たない受験者が占める割合（％）を表しています。たとえば、９９０のPercentile Rankが９９．７とすると９９０の人の割合は全受験者の０．３％（＝１００－９９．７）となります。Percentile Rankの詳細については、公開テスト 平均スコア・スコア分布一覧の「スコア分布」ページの「■注意」を御覧ください。

さて、上の図は最小スコア間隔（５刻み）で最も細かいグラフでした。次に示す図は３０点、４０点、５０点ごとに人数を集計したグラフです。スコア区分で集計することにより、グラフが９９０までなめらかにつながって見えます。

次の図はスコア区分をTOEICの公式データと同じにして推定値を集計したグラフです。全体的に公表値と推定値がよく一致していることが分かります。

第177回 TOEICスコアごとの推定人数一覧表

参考データとして、第177回（2013年1月)でのTOEICスコアごとの人数とその下位者100分比（％）の推定値一覧表を示します。

スコア	人数（推定値）	下位者100分比（％）（推定値）
10	3	0
15	1	0
25	1	0
30	1	0
35	1	0.01
40	1	0.01
45	1	0.01
50	1	0.01
55	1	0.01
60	1	0.01
65	2	0.01
70	1	0.01
75	3	0.01
80	3	0.02
85	3	0.02
90	3	0.02
95	4	0.03
100	6	0.03
105	6	0.04
110	7	0.04
115	10	0.05
120	9	0.06
125	14	0.07
130	18	0.08
135	19	0.1
140	23	0.11
145	28	0.14
150	29	0.16
155	35	0.19
160	39	0.22
165	45	0.26
170	52	0.3
175	56	0.35
180	68	0.4
185	81	0.47
190	89	0.54
195	92	0.63
200	109	0.71
205	115	0.82
210	124	0.92
215	143	1.04
220	163	1.17
225	173	1.33
230	185	1.49
235	200	1.66
240	229	1.85
245	237	2.07
250	252	2.29
255	274	2.53
260	293	2.78
265	312	3.06
270	346	3.35
275	368	3.68
280	375	4.02
285	399	4.37
290	415	4.75
295	449	5.14
300	471	5.56
305	495	6
310	521	6.47
315	557	6.96
320	552	7.48
325	582	8
330	608	8.55
335	622	9.12
340	655	9.7
345	687	10.32
350	697	10.96
355	751	11.62
360	753	12.32
365	782	13.03
370	790	13.76
375	821	14.5
380	830	15.28
385	844	16.05
390	855	16.85
395	888	17.65
400	907	18.48
405	920	19.34
410	937	20.2
415	954	21.08
420	957	21.98
425	971	22.87
430	981	23.79
435	1001	24.71
440	1019	25.65
445	1018	26.6
450	1028	27.56
455	1019	28.53
460	1034	29.48
465	1053	30.46
470	1056	31.44
475	1051	32.44
480	1050	33.42
485	1059	34.41
490	1065	35.4
495	1082	36.4
500	1070	37.42
505	1074	38.43
510	1081	39.43
515	1077	40.45
520	1076	41.46
525	1074	42.47
530	1088	43.48
535	1075	44.5
540	1079	45.51
545	1076	46.52
550	1082	47.53
555	1064	48.55
560	1072	49.55
565	1076	50.55
570	1036	51.56
575	1049	52.54
580	1050	53.52
585	1058	54.51
590	1047	55.5
595	1024	56.49
600	1040	57.45
605	1024	58.42
610	1006	59.39
615	991	60.33
620	993	61.26
625	986	62.2
630	993	63.12
635	965	64.05
640	946	64.96
645	944	65.85
650	914	66.73
655	918	67.59
660	922	68.46
665	899	69.32
670	881	70.17
675	891	70.99
680	853	71.83
685	851	72.63
690	844	73.43
695	838	74.22
700	810	75.01
705	798	75.77
710	796	76.52
715	780	77.27
720	771	78
725	758	78.72
730	748	79.44
735	730	80.14
740	711	80.82
745	729	81.49
750	711	82.18
755	688	82.84
760	679	83.49
765	673	84.13
770	664	84.76
775	639	85.38
780	632	85.98
785	616	86.58
790	620	87.16
795	605	87.74
800	582	88.31
805	579	88.85
810	571	89.4
815	557	89.93
820	528	90.46
825	529	90.95
830	514	91.45
835	499	91.93
840	494	92.4
845	478	92.87
850	447	93.31
855	437	93.73
860	415	94.14
865	402	94.53
870	393	94.91
875	374	95.28
880	358	95.63
885	342	95.97
890	329	96.29
895	307	96.6
900	294	96.89
905	273	97.16
910	261	97.42
915	241	97.66
920	221	97.89
925	202	98.1
930	189	98.29
935	172	98.46
940	159	98.63
945	146	98.78
950	134	98.91
955	128	99.04
960	115	99.16
965	105	99.27
970	93	99.37
975	86	99.45
980	77	99.53
985	67	99.61
990	351	99.67
合計	106,475	-

上の表の下位者100分比（％）をグラフしたものが下図です。

ところで、公式ページの公開テスト 平均スコア・スコア分布一覧の「平均スコア」ページにはトータルスコアの平均と標準偏差が載っています。この数字と推定値と比較すると、両者がほぼ一致することがわかります。

	公表値	推定値
平均スコア	570.3	567.8
標準偏差	174.0	176.9

スコアごとの人数推定方法

スコアごとの人数をどのように推定したか、概要を書いておきます。

用いたデータはTOEICスコア分布の公表値のみ。
手順は次のとおりです。

• スコア区分ごとの人数データからカーネル密度推定により滑らかな推定スコア分布を求めます。
• 推定スコア分布にしたがう乱数を生成することにより、受験者ごとの推定スコア（０から１１００まで）を計算します。
• 推定スコアを集計します。ただし、推定スコアが９９５以上となった人のスコアは９９０とみなして集計します（下図）。

*1:WikipediaによるとTOEICの採点方法は普通のテストとは異なるので９９０での振る舞いは本記事の推測と異なるかもしれません。

TOEICのスコア分布は正規分布に従っているのか

TOEICの公式ホームページのTOEICの平均スコア・スコア分布から各実施回の「平均スコア」ページを見ると、「■注意」欄に「すべてのスコアが正規分布しているという仮説に従えば、」と書かれています。

ほんとうにTOEICスコアは正規分布に従っているという仮説が正しいのか調べてみました。

実施回ごとに平均と標準偏差が公表されていますので、このデータを使って正規分布のグラフを描くことができます。
第177回（2013年1月)[受験者数：106,477人]の場合で、実際の得点分布とスコアが正規分布に従うと仮定したときの得点分布を描いたのが下図です。

図からわかるように、実際のTOEICスコアと正規分布は乖離していますので、スコアの分布は正規分布に従わないと言えます。

念の為に正規性の検定（Shapiro-Wilk検定、Kolmogorov-Smirnov検定）を行ったところ、有意確率p<0.001で帰無仮説が棄却されました。すなわち、上と同様の結論、実際のTOEICスコア分布は正規分布に従わないことがわかりました。