オートメーション・バイアスとは？｜AIの答えをどれだけ信じるかをベイズの式で決める

オートメーション・バイアス（automation bias）とは、自動化されたシステムの答えを過度に信頼し、必要な確認を省いてしまう傾向です。たとえば、AIが「計算に問題はありません」と答えたため、元の数字を見直さず誤りを見逃す場合が当てはまります。

AIは仕事を助けてくれます。その助けを生かすには、どこをAIに任せ、どこを自分で確かめるかを決めることが大切です。この記事では、仕事で起こる例、確認のしかた、研究で分かったことを順に説明します。後半では、性能が分かっている判定AIを例に、ベイズの定理で回答の重みを計算します。

この記事のポイント

• AIが警告しなかったために見逃す「省略エラー」と、誤った指示に従う「実行エラー」があります。
• 対策の出発点は、元の資料や別の情報を確認する手順を残すことです。確認の程度は、間違ったときの影響に応じて決めます。
• ベイズの定理を使うには、その業務での事前確率と判定性能が必要です。計算で得られる確率と、最終的に取る行動は分けて考えます。

仕事ではどんな形で起こるのか

次の例は、2つのエラーを理解するために作ったものです。

AIが指摘しないために見逃す「省略エラー」

請求書をAIで確認し、「問題なし」と出たので担当者も確認を終えました。しかし、実際には請求数量と納品数量が合っていませんでした。元の資料を見れば確かめられるのに、AIの警告がなかったことを理由に確認を省いた例です。

AIの誤った指示に従う「実行エラー」

AIが「この売上減少の原因は広告費の削減です」と答えたため、そのまま報告書に書きました。ところが、実際の広告費は減っていませんでした。別の情報との突き合わせをせず、AIの説明を採用した例です。

「AIを参考にする」だけでバイアスになるわけではありません。確認できる根拠や矛盾を確かめないまま、答えに従ってしまうことが問題です。

確認を省かないために、何を決めておくか

「気をつける」という呼びかけだけでは、確認する内容が人によって変わります。次のように、実際の作業に落とし込みます。

• 確認先を決める：金額は元の帳票、引用は原文、制度は公式資料というように、AIの回答と照合する資料を決めます。
• 重要な判断では、自分の見立てを先に書く：何を確かめたいのか、手元の情報から何が言えそうかを短く整理し、AIの回答と比較します。
• 間違ったときの影響で確認を分ける：影響の小さい下書きと、安全や契約に関わる判断では、必要な確認の程度が異なります。重要な作業は、担当者の確認や専門家への相談を手順に残します。
• 「問題なし」の場合も確認対象を残す：警告が出たものだけを見る運用では、AIが見逃した事例を把握できません。業務に応じて、警告のない出力も点検します。

これらは実務向けの運用案です。どの方法がどの程度有効かは、業務や利用者によって変わるため、見逃しや差し戻しの状況を見ながら調整します。

関連する概念に、AIへ任せるうちに自力で行う技能が低下するAIデスキリングがあります。確認を省く傾向と、技能そのものの変化は区別して捉えます。両者が関係する可能性はありますが、必ず同じ順序で起こるとは限りません。

研究では、支援の効果と見逃しの両方が報告されている

リンダ・スキトカらによるNASAエイムズ研究センターとの共同研究では、大学生80名が飛行シミュレーションに参加しました。8回の試行を通じて100件の事象に対応し、自動化された支援がある条件と、ない条件が比較されています。

支援がある条件でも、必要な警告が出ない事象が6件含まれていました。この6件について、平均の見逃し件数は次のとおりでした。

条件	警告がない6件での見逃し
自動化された支援あり	平均2.44件
自動化された支援なし	平均0.18件

また、支援が誤った指示を出す6件では、支援ありの群がその指示に従った回数は平均3.92回でした。参加者は、別に表示された計器などの情報で確かめることができました。

一方、100件全体の正しい対応数は、支援ありの群が平均88.67件、支援なしの群が83.68件で、支援ありのほうが良好でした。この研究は、自動化の有用性と、警告の欠落や誤指示が起きたときの確認の問題を同時に示しています。

これは特定の飛行シミュレーションでの結果です。見逃し件数の比を、現在の生成AIやあらゆる仕事にそのまま当てはめることはできません。

1万件の例で考える、AIの警告と本当の異常

ここからは研究の実測値ではなく、仮定を置いた計算例です。異常の有無を判定するAIについて、次の条件を考えます。

• 対象のうち、本当に異常がある割合は1%。
• 異常があるものを「異常あり」と判定する割合は90%。これを感度と呼びます。
• 異常がないものを「異常なし」と判定する割合は90%。これを特異度と呼びます。

1万件を判定したと考えると、各結果の期待件数は次のようになります。実際に1万件を調べれば、件数にはばらつきがあります。

実際の状態	AIが「異常あり」	AIが「異常なし」	合計
異常あり	90件	10件	100件
異常なし	990件	8,910件	9,900件
合計	1,080件	8,920件	10,000件

AIが「異常あり」と警告する1,080件のうち、本当に異常があるのは90件です。そのため、警告後に本当に異常である確率は、90 ÷ 1,080 ≒ 8.3%となります。

感度・特異度がともに90%でも、警告の90%が正しいわけではありません。異常がまれなため、数の多い正常な事例から生じる誤警告が大きく影響します。このように、もともとの起こりやすさを考慮することが大切です。

ベイズの式で、回答を受け取った後の確率を求める

今の計算を一般化するのがベイズの定理です。AIに聞く前の確率を事前確率、判定結果を受け取った後の確率を事後確率と呼びます。

オッズを使うと、次の形で表せます。確率をpとすると、オッズはp ÷（1 − p）です。たとえば、確率1%のオッズは0.01 ÷ 0.99＝1/99になります。

事後オッズ ＝ 事前オッズ × 尤度比

「異常あり」という判定の尤度比は、感度 ÷（1 − 特異度）です。感度90%・特異度90%なら、陽性尤度比は0.9 ÷ 0.1＝9になります。

事後オッズは（1/99）×9＝1/11。オッズを確率に戻すには「オッズ ÷（1＋オッズ）」とするので、事後確率は（1/11）÷（1＋1/11）＝1/12、約8.3%となります。

もともとの起こりやすさで、警告の意味は変わる

感度・特異度をともに90%に固定し、事前確率を変えると、警告後の確率は次のようになります。

事前確率（元々の起こりやすさ）	AIが「あり」と言った後の確率
0.1%	0.89%
1%	8.3%
5%	32.1%
20%	69.2%
50%	90.0%

感度・特異度がともに99%という仮想条件でも、事前確率1%なら、警告後の確率は50%です。判定性能だけでなく、どの集団や場面に使うかが結果を左右します。

「異常なし」という判定にも、見逃しは残る

「異常なし」という判定の尤度比は、（1 − 感度）÷ 特異度です。先ほどの1万件の例なら、「異常なし」とされた8,920件のうち、本当は異常があるのは10件です。判定後に異常がある確率は、10 ÷ 8,920 ≒ 0.11%となります。

この確率を許容できるかは、見逃した場合の影響によります。医療や安全に関わる場面では、確率が低くても専門家の確認が必要になる場合があります。ベイズの式は判断材料を整理しますが、取るべき行動は誤警告と見逃しの損失も含めて決めます。

一般的な生成AIに、そのまま数値を当てはめない

これらの計算には、対象の業務で確認した事前確率と感度・特異度が必要です。自由な文章を生成するAIに、あらゆる業務で共通する単一の感度・特異度があるわけではありません。別の試験での正答率や、AI自身が答えた自信の数値を、そのまま代入することはできません。

この計算を学ぶ目的は、「AIが言ったから正しい」と受け取らず、何を根拠にどの程度確からしいと考えるのかを整理することです。ベイズの考え方は、ベイズ統計の個別指導でも扱っています。

よくある質問

感度や特異度が分からないAIの場合はどうすればよいですか

数値を仮定して計算した結果を、実際の性能とは扱わないようにします。業務で測る場合は、正解が確認できる異常・正常の事例を用意し、それぞれの判定結果を集計します。少数の試行は運用上の問題を見つけるのには役立ちますが、安定した性能推定には不足することがあるため、件数や信頼区間も確認します。

事前確率はどう見積もればよいですか

同じ対象や条件について、過去に何件中何件の異常があったかを調べます。対象集団が違えば、その割合も変わります。十分なデータがない場合は、複数の仮定で結果がどう変わるかを調べ、仮定に強く依存する判断には追加の情報を集めます。

確認を増やすと、AIで効率化した意味がなくなりませんか

確認にも時間がかかるため、間違いの影響と確認に要する手間の両方を考えます。低リスクの下書きと、重要な金額や安全に関わる判断を同じ手順にする必要はありません。どこを全件確認し、どこを抜き取りで確認するかを業務ごとに決めます。

チームでAIの確認方法をそろえるにはどうすればよいですか

「数字は元の帳票と照合する」「出典はリンク先の本文を読む」「重大な判断は担当者が確認する」のように、確認先と担当を具体的に決めます。確認漏れがあった事例を共有し、手順を更新することも役立ちます。組織の運用ルールづくりは、生成AI法人研修・企業研修でも扱っています。

本文のベイズ計算は、説明用に仮定した条件から求めたもので、NASA研究や特定の生成AI製品の実測値ではありません。

参考・出典

• Automation: Decision Aid or Decision Maker?（Linda J. Skitka、NASA Ames 共同研究契約 NCC 2-986 最終報告書）
• Skitka, Mosier & Burdick「Does automation bias decision-making?」『International Journal of Human-Computer Studies』第51巻、1999年
• Skitka, Mosier & Burdick「Accountability and automation bias」『International Journal of Human-Computer Studies』第52巻、2000年
• Mosier & Skitka「Automation Use and Automation Bias」『Proceedings of the Human Factors and Ergonomics Society Annual Meeting』1999年

監修／和から株式会社 堀口智之