多重比較はなぜ必要か｜Bonferroni・Holm・Tukeyの使い分けを確率の計算からやさしく

この記事のポイント

・多重比較は、複数の群や仮説をまとめて比べるときに生じます。1回ずつは5%水準でも、全体で少なくとも1つ誤った「差あり」を出す確率が5%を超えることがあります。
・まず比較したい対象を決め、補正で何を抑えるかを選びます。FWERは少なくとも1つ誤る確率、FDRは有意としたものに含まれる誤りの割合の期待値です。
・本文の8個のp値の例では、有意の数が無補正7個・Bonferroni 1個・Holm 3個・BH法5個になります。
・独立検定の確率計算と、同じ群を共有する対比較は別です。必要な比較を残し、補正方法と標本数を計画段階で決めます。

結論｜複数の比較をまとめた誤りに備える

例えば研修A・B・Cを受けた3群のテスト成績を比べるとします。すべての組合せを見るなら「AとB」「AとC」「BとC」の3比較です。実際には同じ効果でも、標本の偶然の違いから「差がある」と判定してしまうことがあります。これが偽陽性です。比較を増やすと、そのどこかで偽陽性を出す機会も増えます。

多重比較の補正は、比較全体について定めた誤り率を、仮定のもとで許容水準以下に抑えるための方法です。例えばBonferroni法なら、3比較全体で5%を目指すとき各検定の有意水準を0.05÷3≒0.0167にします。「差がある」かを調べる前に、どの比較を1つのまとまりとして扱うかを決めることが大切です。

この3群の対比較は同じ群のデータを共有するため、互いに独立ではありません。独立な3検定で得られる14.26%を、そのままこの例の誤り率とは呼べません。また、少なくとも1つ誤る確率（FWER）と、発見に含まれる誤りの割合の期待値（FDR）では、守る対象が違います。まずp値の具体例を追い、その違いと手法の選び方、発展的な確率計算へ進みます。

1. 同じp値でも「有意」の数はこう変わる

ある研究で8つの比較を行い、次のp値が得られたとします。有意水準は5%です。p値は、差がないなどの帰無仮説と検定の仮定のもとで、観測結果と同程度以上に極端な結果が出る確率です。補正は、比較全体の誤り率を考えて、判定の基準やp値を調整します。

順位 i	p値	無補正	Bonferroni 閾値0.00625	Holm 閾値 0.05/(9−i)	BH法 閾値 (i/8)×0.05
1	0.0004	有意	有意	0.006250 → 有意	0.00625 → 有意
2	0.0070	有意	非有意	0.007143 → 有意	0.01250 → 有意
3	0.0080	有意	非有意	0.008333 → 有意	0.01875 → 有意
4	0.0260	有意	非有意	0.010000 → 非有意（ここで停止）	0.02500 → 自身は超えるが有意
5	0.0300	有意	非有意	0.012500 → 非有意	0.03125 → 有意
6	0.0450	有意	非有意	0.016667 → 非有意	0.03750 → 非有意
7	0.0480	有意	非有意	0.025000 → 非有意	0.04375 → 非有意
8	0.2000	非有意	非有意	0.050000 → 非有意	0.05000 → 非有意
有意の個数	—	7個	1個	3個	5個

まったく同じデータ、まったく同じp値です。それでも有意と判定される数は7個・1個・3個・5個と変わります。順に手順を追います。

Bonferroni補正｜全部を同じ閾値で切る

最も単純で、各検定の閾値を α/k にするだけです。今回は 0.05/8 ＝ 0.00625。この線を下回るp値だけが有意になり、残ったのは0.0004の1つでした。根拠はブールの不等式で、和事象の確率は個々の確率の和以下——つまり k×(α/k) ＝ α で必ず抑えられます。独立性をいっさい仮定せずに成り立つのが強みであり、保守的になる理由でもあります。

Holm法｜閾値を1段ずつゆるめていく

Holm(1979) の手順は、p値を小さい順に p₍₁₎ ≤ … ≤ p_(k) と並べ、i番目を α/(k − i + 1) と比べる。下回れば棄却して次へ進み、上回ったらそこで止めて残り全部を非有意とします。上から降りるので「step-down（逐次棄却型）」です。

表の2段目が要点です。p ＝ 0.0070 は Bonferroni の 0.00625 を上回るので非有意でした。ところが Holm の2段目の閾値は 0.05/7 ＝ 0.0071429。0.0070 < 0.0071429 なので有意になります。3段目の 0.05/6 ＝ 0.0083333 で 0.0080 も有意。4段目の 0.05/5 ＝ 0.01 を 0.0260 が上回るためここで停止し、合計3個です。

注目してほしいのは、Holmの1段目の閾値 α/k が Bonferroni の閾値と同一だという点。つまりBonferroniで有意なのにHolmで非有意になることは、原理的に起こりません。Holm自身も原論文で、逐次棄却型のほうが偽の仮説を棄却する確率が大きいのだから古典的なBonferroni検定を置き換えるべきだと述べています。Bonferroniには、同時信頼区間を構成しやすいなどの利点もあります。

BH法｜下から見上げて、まとめて棄却する

Benjamini-Hochberg法は向きが逆です。p値を小さい順に並べ、p_(i) ≤ (i/m)×q を満たす最大の i を探し、1番目からそのi番目までをまとめて棄却します（m は検定数、q は許容するFDR）。大きいほうから見上げるので「step-up」です。

面白い性質があります。表の4段目、p ＝ 0.0260 は自分の閾値 (4/8)×0.05 ＝ 0.025 を上回っています。それでも有意になる。5段目の 0.0300 が (5/8)×0.05 ＝ 0.03125 を下回り条件を満たす最大の i が5になるため、4番目は5番目に引き上げられて棄却されるのです。結果、有意は5個です。

ただし守っているものが違います。BH法は、独立性などの条件のもとで、反復したときの偽発見割合の期待値を5%以下に抑えます。この回に得られた5個に条件を付けて、誤りが平均0.25個と保証するものではありません。数万の検定から候補を絞り追試するゲノム解析などでは合理的ですが、論文の主要な結論として「差がある」と主張する場面ではFWERを守る方法が通例です。

2. FWERとFDR｜その方法は何を守っているのか

方法が乱立して見えるのは、守っている対象が2種類あるからです。1つめがFWER（familywise error rate）、正しい帰無仮説を1つでも棄却してしまう確率。Holm(1979) はこれを「多重の有意水準」と呼び、真である仮説のどの組み合わせをとっても、そのいずれかを棄却する確率の上限がα以下であること、と定義しました。「1つでも誤りを避けたい」という考え方です。

2つめがFDR（false discovery rate、偽発見率）。Benjamini と Hochberg (1995) は、棄却した仮説の総数を R、そのうち誤りの数を V として Q ＝ V/R（棄却0件なら Q ＝ 0）と置き、FDR ＝ E(Q) と定義しました。「有意としたものに含まれる誤りの割合の期待値を5%以下に抑える」という考え方です。

両者の関係も同じ論文が示しています。すべての帰無仮説が正しいとき、FDRはFWERと一致。真の帰無仮説の数 m₀ が全体 m より少なければ FDR ≤ FWER となるため、FWERを制御する手続きは自動的にFDRも制御します。逆にFDRだけを守る手続きはより緩くてよく、そのぶん検出力が上がります。

この2軸で方法を並べます。臨界値とシミュレーション値は4群・各群n＝10（自由度36）を基本とし、4群が同じ分布に従うデータを200万回発生させた計算例です。ただし、方法が保証する比較の範囲と、シミュレーションで実際に数えた比較の範囲は区別する必要があります。Dunnett法は対照群との3比較です。Scheffé法の行は2026年11月2日に独立に再計算し、すべての線形対比ではなく6通りの対比較だけで誤検出を数えた値へ更新しました。

方法	守るもの	想定している比較	臨界値 |t|（4群 n＝10）	実測FWER
無補正のt検定	個々の検定の第1種過誤率	—	2.0281	19.68%
Bonferroni補正	FWER	事前に決めたk個	2.7920	3.99%
Holm法（1979）	FWER	事前に決めたk個	段階的（p値閾値0.00833→0.05）	3.99%
Tukey の HSD	FWER	すべての対比較（kC2個）	2.6932	5.01%
Dunnett法（1955）	FWER	対照群との比較のみ（k−1個）	2.4521	5.01%（3比較）
Scheffé法	FWER	すべての線形対比（無限個）	2.9324	2.84%（6通りの対比較のみ・※）
BH法（1995）	FDR	多数の探索的な検定	段階的（p値閾値0.00833→0.05）	4.37%

※Scheffé法の2.84%は、正規・等分散・独立な誤差のもと、4群・各群n＝10、共通の誤差自由度36、臨界値2.9324として、6通りの対比較のどこかで誤検出する割合を200万回の独立シミュレーションで求めた値です（乱数seed＝20261102、約0.012パーセントポイントのモンテカルロ標準誤差）。NISTの解説にあるすべての線形対比の同時信頼係数1−αとは対象が異なります。全平均が等しいとき、全対比のどこかで誤検出する確率はαですが、その一部である対比較だけを数えるとαより低くなり得ます。

方法を選ぶ際は、まず「1つでも間違えたくないか（FWER）／誤りの割合を抑えるか（FDR）」を決め、次に「どの比較をするのか」を確認する。この2軸で、比較条件と方法の対応を整理できます。

3. Tukey・Dunnett・Scheffé｜「どの比較をするか」で方法が決まる

Bonferroni・Holm・BH法はp値から計算できます。ただし各p値の妥当性が必要で、BH法には独立性などの依存構造の条件もあります。対して Tukey・Dunnett・Scheffé は、比較の型を決め打ちすることで得をする方法です。

TukeyのHSDは実測5.01%とちょうど5%。すべての対比較に特化してスチューデント化された範囲の分布を使うため、ムダがありません。同じ6比較をBonferroniで守ると臨界値は2.7920と高くなり実測は3.99%——保守的になり、そのぶん検出力が低くなる。独立な正規誤差・等分散・等標本数というこの設定で全対比較をするなら、Tukeyの臨界値はBonferroniより低くなります。

そして比較を絞るほど得をします。Dunnett法は対照群との比較だけ——k群なら k−1 個——に限定するので、4群なら3比較。臨界値は2.4521とTukeyの2.6932より低く、それでも実測FWERは5.01%です。対照群と比べたいだけなのに全対比較の方法を使うのは、必要以上に保守的になることになります。一方、Scheffé法は「B群とC群の平均 vs A群」のような、対比較に限らない線形対比も対象にします。この設定の対比較に適用する臨界値は2.9324で、対比較専用のTukey法より高くなります。ただし、対象が広い方法を常に「最も保守的」と呼ぶのは適切ではありません。任意の対比を同時に扱いたいのか、決めた対比較だけでよいのかで選びます。表の2.84%は6通りの対比較に限った再計算値であり、全対比の保証とは区別します。

「ANOVAが有意なときだけ多重比較する」は正しいか

まず分散分析のF検定を行い、有意だったときに限って無補正のt検定で対比較する——Fisher の LSD（protected LSD）です。この「関門」で本当に守れるのかを確かめました。

すべての群がまったく同じ場合は守れます。F検定が有意になる確率自体が5%なので、3群でも10群でも実測5.0%でした。問題は一部の群にだけ本当に差がある場合です。10群のうち「同じ値のペアが5組あり、ペアどうしは大きく離れている」配置ではF検定は100%有意。関門は機能せず、残る5つの真の帰無ペアが無補正で検定され、FWERは22.32%——1 − 0.95⁵ ＝ 22.62% とほぼ一致しました。同じ配置でTukeyは0.82%です。

群数を変えると境目が見えます。3群では4.98%と5%に収まりますが、4群では9.68%（≒ 1 − 0.95²）、6群では14.12%（≒ 1 − 0.95³）。Hayter(1986) はこの検定の最大FWERを解析し、名目の水準αを大きく超えうることを示しました。protected LSD が誤り率を保つと言えるのは群がちょうど3つのときまでです。

見落とされがちですが、Tukey・Dunnett・Holm はそれ自体でFWERを保証するので、事前のF検定は不要です。F検定が有意でないのにTukeyが差を検出することも、その逆も起こります。「最初から多重性を組み込んだ方法をひとつ使う」のが現在の標準です。

4. 補正の代償｜厳しくするほど、本当にある差を見逃す

補正はタダではありません。閾値を下げれば第1種の過誤（偽陽性）は減りますが、そのぶん第2種の過誤＝本当にある差を見逃す確率が増えます。2群のt検定・各群n＝20・効果量 d ＝ 0.8（一般に「大きい」とされる差）で計算しました。

無補正のα＝0.05なら検出力は69.3%。Bonferroni補正をかけると、3比較（α＝0.016667）で51.6%、6比較で41.1%、10比較で34.2%、45比較（α＝0.001111）では18.3%まで落ちます。第2種の過誤は30.7%から81.7%へ——45比較では大きな差があっても8割方は見逃す。検出力80%に必要な人数も無補正の1群26人から10比較で44人、45比較で56人（2.15倍）になります。

計画段階では、研究目的に必要な比較、補正方法、標本数を一緒に決めます。「とりあえず全部」を避けることは役立ちますが、必要な比較まで削ることが唯一の解決策ではありません。主要な仮説と探索的な検討を区別し、必要な比較を行えるように検出力と標本数を検討します。

5. 発展｜独立検定と対比較の確率を計算する

帰無仮説のもとで実際の偽陽性率が5%の検定を1回行うとき、正しく「有意でない」と判断できる確率は95%です。すべての帰無仮説が真で検定が互いに独立なら、k回すべてで間違えない確率は 0.95^k。少なくとも1回間違える確率はその余事象です。
FWER ＝ 1 − 0.95^k
これが、この条件でのファミリーワイズエラー率（familywise error rate）です。

検定の回数 k	全部を正しく判断できる確率 0.95k	少なくとも1回は偽陽性 1 − 0.95k	偽陽性の期待個数 0.05k
1	0.950000	5.00%	0.05
2	0.902500	9.75%	0.10
3	0.857375	14.26%	0.15
5	0.773781	22.62%	0.25
10	0.598737	40.13%	0.50
20	0.358486	64.15%	1.00
45	0.099440	90.06%	2.25

わずか3回で14.26%、5%のつもりが約2.9倍です。20回で64.15%——コインの表より高い確率で偽の「有意」が現れます。偽陽性の期待個数は 0.05k なので、45回なら平均2.25個が紛れ込む計算です。

45という数はどこから来るか

k個の群からすべての対を選ぶ数は _kC₂ ＝ k(k−1)/2。3群なら3、4群なら6、10群なら45です。

群の数	対比較の数 kC2	1 − 0.95比較数（独立と仮定）	実際のFWER（シミュレーション）
3群	3	14.26%	12.0%
4群	6	26.49%	19.7%
5群	10	40.13%	27.6%
6群	15	53.67%	35.3%
8群	28	76.22%	49.2%
10群	45	90.06%	61.2%

但し書きを1つ。1 − 0.95^k は「k回の検定が独立」という前提の数値です。すべての対比較は同じ群の平均と誤差分散を共有するため、実際には独立ではありません。各群n＝10の正規データを最大100万回発生させて数えたのが右端の列で、10群では90.06%ではなく61.2%。それでも5%の12倍以上です。1 − 0.95^k は独立な場合の値で、一般的な上限ではありません。右列の数値は、この正規データの条件での結果です。

まとめ

・比較したい群・仮説を先に決め、必要な比較、補正方法、標本数を組み合わせて計画します
・すべての帰無仮説が真で、偽陽性率が各5%の独立な検定をk回行うと、少なくとも1回は偽陽性が出る確率は 1 − 0.95^k。3回で14.26%、10回で40.13%、45回で90.06%です
・この式は検定が独立な場合の値。全対比較を行うこの正規データの設定では独立と仮定した値より低く（10群45比較で61.2%）なりますが、それでも5%の12倍以上です
・第一の軸はFWER（少なくとも1つ誤る確率）かFDR（誤りの割合の期待値）か。Bonferroni・Holm・Tukey・Dunnett・Scheffé が前者、BH法が後者です
・第二の軸はどの比較をするか。すべての対比較ならTukey（この設定の実測5.01%）、対照群との比較だけならDunnett（臨界値2.4521）、任意のk個ならHolmです
・「ANOVAが有意なときだけ」（protected LSD）が誤り率を保つのは3群まで。10群では実測22.32%まで上がります。Tukey・Dunnett・Holm に事前のF検定は不要です

多重比較では、何と何を比べたいかを出発点に、比較どうしの依存関係と制御したい誤り率を確認します。独立検定の式は、その前提が成り立つ場面で使います。何を誰と比べたいのかが決まれば、方法はおのずと絞られます。

あわせて読みたい：数学が苦手になる原因とは｜つまずきの正体と対処法をやさしく

<監修／和から株式会社 堀口智之>

※2026年11月2日に内容を更新しました。