マスログ

「法人研修 おすすめ」をAIに聞くと何社出るか|Claudeは1回答平均12社、言及率の誤差は±10ポイント

公開日

2026年11月20日

更新日

2026年11月21日

noimage

「法人研修 おすすめ」をClaudeに48回聞いてみました。和からの名前は、一度も出てきませんでした。

研修会社にとって、これは他人事ではありません。研修を探す担当者が、検索だけでなくAIにも「どこがおすすめ?」と聞くようになってきたからです。AIの回答に自社の名前がどのくらいの割合で出てくるか(言及率)を数える調査も増えていて、11月には法人研修について「首位の会社は68.1%」という調査が出ました。

ただ、この68.1%は72回分の回答から出した数字です。AIの答えは聞くたびに変わるので、もう一度測れば60%になるかもしれませんし、75%になるかもしれません。順位が上がった下がったと喜んだり慌てたりする前に、この数字にどれくらいの誤差があるのかを知っておく必要があります。

そこで和からでも、Claudeに同じような質問を48回聞いて数え、公表された数字の誤差を計算し直しました。結論を先に言うと、68.1%は「56.6〜77.7%のどこか」という程度の精度で、2位以下の順位やAIごとの違いは、この回数では偶然と区別できません。言及率を測るなら何問を何回聞けばよいかも、あわせて計算しています。

調査の数字:24問×3つのAI=72回答

TechSuiteの業界特化調査 第36弾(2026年11月10日発表)は、法人研修選びの質問をAIに聞き、回答に出てきた会社名と引用元を数えたものです。

  • 対象:ChatGPT、Google AI Overviews、Microsoft Copilot。質問24本、分析した回答72件(2026年11月)
  • 首位の会社の登場率68.1%、2位54.2%。上位5社で言及全体の47.4%、観測された会社は82社
  • 首位の会社の登場率はAI Overviewsで79.2%、ChatGPTで50.0%
  • 引用元は研修事業者の自社サイトが63.3%、比較・情報メディアが30.1%

リリース自身も、AIの回答は質問の言い回しや時期で変わり、数字は調査時点のものだと断っています。

Claudeに48回聞くと、出てきた会社は174社

Claude(Opus 5.5、Web検索あり)で2026年11月14日に、法人研修・生成AI研修・データ分析研修の質問24本を各2回(計48回答)聞き、推薦された会社名と参照URLを集計しました。1回の起動で8問ずつ答えさせ、研修担当者として答えるよう頼んだだけで、和からの名前は伝えていません。

  • 1回答あたりの会社数:平均11.9社(3〜34社)。48回答で異なり174社、うち86社は1回だけ
  • 最多はインソースの45/48(93.8%、95%区間83.2〜97.9%)。次いで株式会社リスキル28/48(58.3%、95%区間44.3〜71.2%)、アガルートとリクルートマネジメントソリューションズが各21/48(43.8%)
  • 和から株式会社の登場は0/48(95%区間の上限7.4%)
  • 同じ質問の1回目と2回目で、挙がった会社の重なり(共通の社数÷どちらかに出た社数)は平均0.48

首位ははっきりしていますが、2位と3・4位の差は7件で区間は重なり、同じ回答どうしを比べるマクネマー検定でも p≈0.14〜0.19 でした。同じ質問を2回聞いても、挙がる会社の半分ほどは入れ替わりました。2位以下の順位は、48回答でも決められません。

68.1%は「56.6〜77.7%のどこか」

TechSuiteのパーセントを回答数に戻すと、分子は1通りに決まります。68.1%は49/72、54.2%は39/72、AI別は19/24と12/24です(各AI24回答と読んだ場合。Copilotは49−19−12=18件と逆算)。

対象 件数 登場率 95%信頼区間(Wilson)
首位の会社 49/72 68.1% 56.6〜77.7%
2位の会社 39/72 54.2% 42.7〜65.2%
首位×AI Overviews 19/24 79.2% 59.5〜90.8%
首位×ChatGPT 12/24 50.0% 31.4〜68.6%
首位×Copilot(逆算) 18/24 75.0% 55.1〜88.0%

AI別の24回答では幅が±16〜19ポイントになります。区間の読み方は信頼区間の意味を解説した記事にまとめています。

首位と2位、AIごとの差は偶然と区別できるか

  • AI Overviews 19/24 と ChatGPT 12/24:フィッシャーの正確検定で p≈0.069
  • 首位49/72 と 2位39/72:別々の回答とみなすと p≈0.12
  • ただし首位と2位は同じ72回答で数えているので、本来は「首位だけ出た回答」と「2位だけ出た回答」の数で比べる(マクネマー検定)。その差は10件だが内訳は非公表で、「10件・0件」なら p≈0.002、「15件・5件」なら p≈0.041、「20件・10件」なら p≈0.099

AIごとの差は、5%水準では偶然と区別できません。順位や、AIによって違うかどうかを確かめるには、回答ごとの会社名の一覧(生データ)が必要です。

±5ポイントに収めるには何問×何回必要か

質問ごとの出やすさの違いを組み込んだモデル(ベータ二項モデル)で、登場率68%の会社を測るときの95%区間の幅を計算しました。式は「幅=1.96×√{p(1−p)÷(質問数×回数)×(1+(回数−1)ρ)}」で、ρは質問ごとのばらつきの大きさです。モンテカルロ法(2万回)でも同じ幅になりました。

質問ごとのばらつき 24問×3回 100問×3回 ±5ポイントに必要な質問数(各3回)
なし(ρ=0) ±10.8 ±5.3 112問
中(ρ=0.2) ±12.7 ±6.2 157問
大(ρ=0.4) ±14.5 ±7.1 201問
  • ρ=0.2は、質問によって登場率が±21ポイント程度ずれる状態(標準偏差√(0.2×0.68×0.32)≒0.21)。このとき24問のままでは、何回繰り返しても±8.4ポイントより狭くならない
  • 質問を30問から50問に増やすと、幅は√(30/50)≒0.775倍で、約2割狭くなるだけ

後者は、フェアテックが約10万件の実測から示した「30問から50問に増やしても誤差は約2割しか減らない」(2026年10月22日)と一致します。同じ質問の繰り返しより、質問の数と種類を増やすほうが誤差は縮みます。

引用元は研修事業者サイトが6割台

  • Claudeの48回答:参照URL193件のうち、研修事業者サイト68.4%、比較・情報メディア25.4%、その他6.2%。最多はアガルートのサイト(37件、競合を並べた比較コラムを含む)
  • TechSuite:研修事業者サイト63.3%、比較・情報メディア30.1%
  • 消費者向け18業種(Bridge、2026年10月15日):企業公式サイト32.5%。業種で約6倍の差(クレジットカード60.7%、全面リフォーム10.7%)

法人研修は、自社サイトが引用されやすい分野のようです。ただし分類の定義も分母も調査ごとに違うため、数字を直接は比べられません。AI経由の実際の流入については、和からの自社データで調べた記事で扱っています。

AI検索の言及率のように、AIの出力を数えて判断に使う場面は増えています。和からの生成AI×データ分析研修では、AIの出力を件数に戻し、信頼区間や検定で確かめる手順を実データで練習します。

参考・出典

監修/和から株式会社 堀口智之

Xでシェア Facebookでシェア LINEで送る

同じことを生成AIに頼むなら、どう書けば思ったとおりに返ってくるのか。そのまま貼って使える「話しかけ方」を30個、A4・7ページにまとめました。資料づくり・メール・数字の整理・学び直しの、4つの場面別です。

和からのメルマガに登録すると、この資料を含む3本をまとめてお送りします。登録はメールアドレスだけ、30秒で終わります。

3つのPDFを無料で受け取る

新着記事

同じカテゴリーの新着記事

同じカテゴリーの人気記事

この記事に関連する教室: 統計・データ分析教室 →   社会人の学び直し講座 →

CONTACTお問い合わせ

遠方に在住の方や自宅で講義を受けたい方はオンライン講座をご用意しております。よくある質問はこちら