官能評価の統計｜3点識別法「30人中18人が正解」は有意かを計算する

この記事のポイント

・識別法の検定は偶然正解率から始まります。3点識別法は1/3、2点識別法と1対2点識別法は1/2です
・パネリスト30人なら、有意水準5%で「差あり」と言えるのは3点法で15人、2点法で20人から。30人中18人正解ならp＝0.0025で、1%水準でも有意です
・全員を「必ず識別する人」と「推測する人」に分けるモデルで、18人正解から推定されるのは識別できる人が約40%いること。ただし95%信頼区間は10.9〜66.0%と広く、大きさまでは決まりません
・現行規格は JIS Z 9080:2004 官能評価分析－方法（2024年6月20日確認）。本記事の数値はPythonで計算し、同規格の付表1〜3と一致することを確かめました
・識別法で有意差が出ても「好まれる」とは言えません。JISは3点試験法について「し（嗜）好の決定のために用いてはならない」と定めています

結論｜30人中18人は有意。ただし言えるのは「差がある」まで

3点識別法は、同じ試料を2点と違う試料を1点、合わせて3点を出して「違う1点」を選ばせる方法です。何もわからなくても3回に1回は当たります。ですから「30人中18人が正解した」だけでは判断できず、偶然だけで18人以上が当たる確率を計算する必要があります。答えを先に言うと、その確率は 0.0025（0.25%）。有意水準5%どころか1%でも有意です。

境目も数字ではっきり決まります。n＝30の3点識別法なら、15人正解でp＝0.0435となって初めて5%を切ります。14人だとp＝0.0898で有意になりません。偶然正解率が1/2の2点識別法では、同じ30人でも20人必要です。この差は「1/3か1/2か」だけで決まっています。

ただし有意になっても、そこから先は別の話です。この識別者・推測者モデルで18人正解から逆算すると本当に識別できている人は約40%ですが、その95%信頼区間は10.9%〜66.0%と大きく開きます。「差はある。どれくらいかは30人では決まらない」というのが正確な読み方です。以下、計算を順に追います。

1. 識別法は「偶然の正解率」から決まります

JIS Z 9080 は識別試験法をいくつか定めています。実務でよく使うのは次の3つです。共通しているのは評価者に必ずどれかを選ばせる（強制選択）という点で、だからこそ「まったくわからない人」でも一定の割合で正解します。この割合が偶然正解率 p₀で、検定の帰無仮説そのものになります。

試験方法	呈示のしかた	偶然正解率 p0	n＝30で5%有意に必要な正解者数	JISが定める最少人数
3点識別法 （3点試験法）	同じ試料Aを2点、異なる試料Bを1点、計3点を同時に出し、性質が異なる1点を選ばせる	1/3（約33.3%）	15人	専門家6人／選ばれた評価者15人／訓練を受けていない評価者25人
1対2点識別法 （1対2点試験法）	基準試料Aを先に出し、続いてAとBをコード化して出し、基準と同じものを選ばせる	1/2（50%）	20人	20人以上
2点識別法 （2点試験法・識別）	2点を出し「どちらがより甘いか」のように属性を指定して選ばせる	1/2（50%）	20人	専門家7人／選ばれた評価者20人／訓練を受けていない評価者30人

右から2列目を見てください。同じ30人でも、3点法なら15人、1/2の方法なら20人の正解が要ります。偶然正解率が高いほど「偶然でもそのくらい当たってしまう」ので、有意と判定するために必要な正解者数が増えます。

2点法には「識別」と「嗜好」の2つがあります

JIS Z 9080 の2点試験法は、質問文で性格が変わります。「二つの試料の中で、どちらがより甘いか」と聞けば識別試験、「どちらが好きか」と聞けば嗜好試験です。検定の向きも変わります。「Aのほうが強い（好まれる）はずだ」と方向を決めてから調べるなら片側検定、「どちらでもよいから差があるか知りたい」なら両側検定です。n＝30なら片側5%で20人ですが、両側5%では21人と必要人数がずれます。

差がなくても、正解者数の期待値は10人です

n＝30の3点識別法で、2つの試料が完全に同一だったとします。それでも正解者数の期待値は 30×1/3＝10人です。2点識別法なら15人。「半分の人が当てたのだから差がある」という言い方が成り立たないのはこのためで、2点法で15人正解のp値は0.5722、まったく有意ではありません。

2. 「30人中18人」を二項検定で計算します

計算の骨格は単純です。各評価者が独立に1回ずつ回答し、試料に差がないという帰無仮説のもとで、正解者数Xは二項分布 B(n, p₀)に従います。知りたいのは「偶然だけで18人以上が当たる確率」ですから、片側のp値は次の和になります。
p値 ＝ Σ_k＝18³⁰ ₃₀C_k (1/3)^k (2/3)^30−k ＝ 0.002458

ここで扱う3点識別法の差の検定が片側なのは、偶然正解率を上回るかを調べるからです。30人中2人しか正解しなかった場合、この上側片側検定では「差あり」とは判定しません。ただし、偶然正解率より極端に低い結果なら、回答・正誤の記録、試料の提示手順、回答の独立性などの前提も確認します。「差がない」ことの証明でも、「逆向きに差がある」という意味でもありません。

正解者数（n＝30）	3点識別法（p0＝1/3）のp値	判定	2点識別法（p0＝1/2）のp値	判定
12人	0.2761	有意でない	0.8998	有意でない
13人	0.1660	有意でない	0.8192	有意でない
14人	0.0898	有意でない	0.7077	有意でない
15人	0.0435	5%で有意	0.5722	有意でない
16人	0.0188	5%で有意	0.4278	有意でない
17人	0.0072	1%で有意	0.2923	有意でない
18人	0.0025	1%で有意	0.1808	有意でない
19人	0.00074	1%で有意	0.1002	有意でない
20人	0.00019	1%で有意	0.0494	5%で有意
21人	0.000044	1%で有意	0.0214	5%で有意
22人	0.0000088	1%で有意	0.0081	1%で有意

左半分を上から見ていくと、14人と15人の間に線があるのがわかります。0.0898と0.0435。たった1人で有意か否かが入れ替わります。これが「有意水準5%で必要な正解者数は15人」の中身です。18人正解のp値は0.0025で、1%水準も下回っています。

JISの付表と一致するかを確かめました

JIS Z 9080 には検定用の付表1〜3が付いています。上の計算がそれを再現するか、評価者数6人から40人の範囲で照合しました。3点試験法・1対2点試験法（付表1）、2点試験法の片側検定（付表2）・両側検定（付表3）とも、確認した範囲ですべて一致しました。付表は暗記するものではなく、偶然正解率を決めれば二項分布から出てくる数値だということです。

「18人正解」から何が言えるか

有意だとわかった次に見るのは差の大きさです。パネルが2種類の人に分かれていると考えます。本当に識別できる人（割合 p_d）は必ず正解し、残りは当てずっぽうで p₀ の確率で正解する。このモデルなら、全体の正解率は p_c ＝ p_d ＋ (1−p_d)p₀ と書けます。逆に解くと p_d ＝ (p_c−p₀)/(1−p₀) です。

18/30 ＝ 0.6 を入れると p_d ＝ (0.6−1/3)/(2/3) ＝ 0.40。パネルの4割が識別できている計算になります。正解率のClopper–Pearson法による両側95%信頼区間を、同じ式で識別者割合に変換すると 10.9%〜66.0%です。「1割かもしれないし、3分の2かもしれない」という幅です。有意差が出たことと、差の大きさが決まったことは別で、推定精度を上げたい場合は、人数を増やすことなどを検討します。

3. パネリストは何人必要か｜検出力で決めます

「何人集めればいいですか」という問いには、そのままでは答えられません。どれくらいの割合の人が識別できていれば、それを見つけたいかを先に決める必要があります。ここで使うのが検出力、つまり本当に差があるときに有意と判定できる確率です。ここでは検出力80%を設計上の目標にします。

以下の人数表は、独立な1人1回答、片側有意水準5%の正確な二項検定で、検出力80%以上となる計算上の最小人数を示します。規格が求める最少人数や評価者の条件は別に満たす必要があります。また、正解数の判定基準は整数なので検出力は人数に対して上下することがあります。実施人数を変更するときは、その人数で再計算してください。

識別できる人の割合 pd	3点法 n＝30の検出力	3点法 検出力80%に必要な人数	2点法 n＝30の検出力	2点法 検出力80%に必要な人数
10%	17.5%	325人	13.5%	620人
20%	42.6%	87人	29.1%	158人
30%	70.9%	40人	50.8%	69人
40%	90.3%	23人	73.0%	37人
50%	98.1%	16人	89.4%	23人
60%	99.8%	9人	97.4%	18人

表の1行目は、識別できる人が1割の場合を示しています。識別できる人が1割しかいない差を3点法で捕まえるには325人要ります。30人でやれば検出力は17.5%。この条件では、差があっても有意と判定されない確率は約82.5%です。有意にならなかった場合は、差が小さいことに加えて人数が足りていない可能性もあります。

逆に、p_d が4割あるなら30人で検出力90.3%あります。これは真の識別者割合を4割と仮定した場合の検出力です。観測した18人正解から、事前の設計が妥当だったとは判断できません。先に検出したい差の大きさを定め、その条件から必要人数を計算します。

3点法と2点法、どちらが少人数で済むか

表3だけを見ると、3点法のほうが常に少人数で済むように見えます。偶然正解率が1/3と低いぶん、同じ p_d なら差が目立つからです。ところがこれは「同じ p_d なら」という条件つきの比較です。実際には同じ試料でも試験方法が変われば p_d は変わります。3点法は3つを覚えて突き合わせる必要があり、2点法より難しいからです。

そこで、試料そのものの差の大きさを d′ という共通の物差しで固定して比べ直します。ここでは、各試料への感覚反応が独立で、共通の標準偏差を持つ正規分布に従うサーストン型のモデルを使います。d′は、2つの試料の感覚反応の平均の差を、その共通の標準偏差で割った値です。3点法では感覚上もっとも近い2点を同じ試料と判断する規則、2点法では指定した属性の強さを比べる規則を用います。次の表は、このモデルから正解率を計算した結果です。実際の試料や評価者が必ずこのモデルに従うという意味ではありません。

差の大きさ d′	3点法の正解率	3点法に必要な人数	2点法（属性を指定）の正解率	2点法に必要な人数
0.5	35.6%	2,756人	63.8%	82人
1.0	41.8%	202人	76.0%	23人
1.5	50.6%	53人	85.6%	13人
2.0	60.5%	23人	92.1%	8人
3.0	78.1%	7人	98.3%	5人

順位が逆転します。d′＝1.0の差なら、3点法は202人、属性を指定する2点法なら23人。およそ9分の1です。同じ物理的な差でも、3点法の正解率は41.8%（偶然の33.3%からわずか8.5ポイント上）にしかならないのに対し、2点法は76.0%（偶然の50%から26ポイント上）まで上がるためです。

ただし2点法を使うには、「どちらがより甘いか」のように比べる属性をあらかじめ決めておく必要があります。何がどう変わったか見当がつかないときは3点法、変化する属性が絞れているときは2点法。人数の話は、そのまま使い分けの話でもあります。

4. 有意差が出ても「好まれる」とは限りません

最後に、識別と嗜好を区別します。JIS Z 8144 は識別試験法を「感覚の強度又は質の相違の有無を判定する目的で行われる試験方法」、嗜好試験法を「消費者のし（嗜）好及び受容性を調べる目的で用いられる試験方法」と、別々に定義しています。答える問いそのものが違います。

JIS Z 9080 は3点試験法について、「この試験方法はし（嗜）好の決定のために用いてはならない」とはっきり書いています。3点法が測っているのは「違いに気づけるか」だけで、気づいた人がどちらを好むかは一言も聞いていません。「有意差あり」は「新配合のほうが劣る」を意味しませんし、その逆でもありません。

実務での分かれ道はこうです。原料や工程を切り替えたときに知りたいのが「気づかれるか」なら識別法、「受け入れられるか」なら嗜好試験や受容性試験。両方知りたいなら両方やります。識別法で有意差が出なかっただけでは、嗜好への影響がないとは判断できません。嗜好を確認する必要があれば、その目的に沿った試験を設計します。

「有意差なし」は「同じ」ではありません

もう1つ。p値が0.05を超えたことは「差がない」の証明ではありません。n＝30で12人正解（p＝0.2761）だったとき、識別できる人の割合 p_d の両側95%信頼区間の上限は39.1%あります。「4割の人には気づかれているかもしれない」状態で、同一だと結論するのは無理があります。差がないことを積極的に言いたい場合は、許容できる p_d を先に決めて同等性試験として設計します。

あわせて、検定を繰り返すほど「たまたま有意」が出やすくなる点も押さえてください。有意水準5%の検定を独立に10回行えば、すべて差がなくても少なくとも1回は有意になる確率が40.1%になります。5回でも22.6%です。甘味・酸味・香り・食感…と属性ごとに検定を並べると、この落とし穴に入ります。

まとめ

・識別法の検定は偶然正解率 p₀ から始まります。3点識別法は1/3、2点識別法と1対2点識別法は1/2です
・n＝30なら、5%で有意になるのは3点法で15人、2点法で20人から。30人中18人正解はp＝0.0025で、1%水準でも有意です
・人数は検出力で決めます。識別できる人が1割の差を3点法で拾うには325人、4割なら23人。「拾いたい差」を先に決めてから人数を出します
・同じ p_d なら3点法が有利ですが、同じ試料の差 d′ で比べると、属性を指定した2点法のほうが大幅に少人数で済みます（d′＝1.0で23人対202人）
・識別と嗜好は別の試験です。JISも3点試験法を「し（嗜）好の決定のために用いてはならない」としています

官能評価では、試験方法とともに人数と判定基準を決めます。ここは規格の付表を眺めるより、二項分布を一度自分で計算したほうが早く腑に落ちます。JISの付表が数行の計算で完全に再現できたように、必要なのは特別な統計ではなく、偶然正解率という出発点をはっきりさせることだけです。

あわせて読みたい：数学が苦手になる原因とは｜つまずきの正体と対処法をやさしく

<監修／和から株式会社 堀口智之>

※2026年11月2日に内容を更新しました。