GPT-6 Astraは99.9%か62.7%か｜ARC-AGI-3を統計で読む

公開日

2026年9月5日

更新日

2026年9月5日

GPT-6 AstraのARC-AGI-3スコアが測定条件により62.7%と99.9%に分かれることを示す図

2026年9月3日、OpenAIは新モデル「GPT-6 Astra」が、ARC-AGI-3で99.9%を記録したと発表しました。一方、ARC Prize財団の検証ページには、同じモデルについて62.7%という数字も掲載されています。

結論から言えば、どちらも公式に確認されたスコアです。ただし、62.7%は「標準ハーネス・max」、99.9%は「Provider Adapter・high」で測られた最良値です。ハーネスだけでなく推論量も異なるため、差の37.2ポイントすべてを「ハーネスの効果」とすることはできません。

さらに、ARC-AGI-3の数字は単純な正答率ではありません。人間を基準に、課題をどこまで解き、何回の操作で解いたかを評価する行動効率を含むスコアです。

この記事では、99.9%と62.7%の違いを正確に整理したうえで、AIベンチマークを読むときに欠かせない「同じ条件で比べる」という考え方を、測定論と実験計画の視点から解説します。

この記事の主な内容

この記事のポイント

ARC Prizeの検証では、GPT-6 AstraのARC-AGI-3 Semi-Privateスコアは、標準ハーネスのmaxで62.71%、Provider Adapterのhighで99.95%でした。
この2つは推論量も異なるため、37.24ポイントをハーネスだけの効果とは言えません。
推論量をそろえると、max同士では35.84ポイント、high同士では45.13ポイントの差があります。
ARC-AGI-3の得点は「正答率」ではなく、課題の達成度と人間に対する行動効率を組み合わせたRHAEという指標です。
ARC Prize自身も、ベンチマークの飽和は「AGI達成の証明」ではないと説明しています。
和からの視点で重要なのは、数字の大小よりも、比較したい要因以外の条件がそろっているかを確認することです。

何が起きたのか：同じモデルに2つのスコア

ARC-AGI-3は、初めて見るゲーム環境でルールと目標を推測し、試行錯誤しながらゴールを目指す対話型のベンチマークです。探索、環境のモデル化、目標設定、計画と実行といった能力を評価します。

ARC PrizeはGPT-6 Astraを、2種類のハーネスと6段階の推論量で検証しました。公式結果は次の通りです。

推論量	標準ハーネス	Provider Adapter	同じ推論量での差
none	35.18%	96.72%	61.54ポイント
low	17.45%	98.03%	80.58ポイント
medium	38.59%	98.44%	59.85ポイント
high	54.82%	99.95%	45.13ポイント
xhigh	59.34%	98.44%	39.10ポイント
max	62.71%	98.55%	35.84ポイント

出典：ARC Prize「GPT-6 Astra ― ARC-AGI Results」（2026年9月2日）。

見出しで使われやすい62.7%と99.9%は、それぞれのハーネスにおける最良値同士です。しかし、前者はmax、後者はhighなので、比較条件は完全にはそろっていません。

ハーネスの違いを見たいなら、同じ推論量の行を横に比べます。max同士なら35.84ポイント差、high同士なら45.13ポイント差です。差の大きさは推論量によって変わりますが、どの推論量でもProvider Adapterのスコアが高い、という傾向は確認できます。

2つのハーネスは何が違うのか

ハーネスとは、モデルにゲームを遊ばせるための「動かし方の枠組み」です。ゲームも操作も制限時間も採点も同じで、違うのは前の手番で考えたことを、次の手番にどう引き継ぐかの1点だけです。

仕事の引き継ぎに例えると分かりやすくなります。

標準ハーネス：1手ごとに担当者が交代し、次の担当者は前任者が残した引き継ぎメモだけを頼りに続きをやる。メモに書かれなかった発見や考えかけの仮説は、そこで消えます。どのモデルにも同じ条件を課せるので、モデル同士の比較に向いた設定です。
Provider Adapter：同じ担当者が最初から最後まで通しで担当する。頭の中に残っている途中経過（モデル内部の推論状態）をそのまま持ち越し、会話が長くなれば古い部分を圧縮して続けます。OpenAIが自社モデル向けに用意した文脈管理機能をそのまま使うので、「提供者の機能込みの実運用に近い性能」を測る設定です。

この違いがARC-AGI-3で特に効くのは、この試験が試行錯誤の積み重ねで成り立っているからです。「このボタンを押したら何が起きたか」「この仮説は外れた」という発見が、1手ごとに蓄積していきます。メモに書き損ねた発見は次の手番では失われ、同じ実験をもう一度やることになります。その分、操作回数が増えます。

そして後述するように、ARC-AGI-3の採点は操作回数の多さを2乗で罰します。人間の2倍の操作で解けば得点は4分の1、10倍なら100分の1です。引き継ぎのたびに少しずつ手数が増える標準ハーネスでは、正解にたどり着いても得点が大きく削られます。同じモデルなのに37ポイントも割れるのは、「解けるか」の差というより、「どれだけ回り道せずに解けるか」の差が2乗で拡大された結果です。

ARC Prizeによると、両方のハーネスが解けた167の「ゲーム×推論量」の組み合わせでは、Provider Adapterのほうが経過時間で約3.66倍速く、総トークン数も49%少なかったと報告されています。同じ担当者が続けてやるほうが速くて安い、という直感どおりの結果です。

99.9%は「正答率」ではない：RHAEとは

ARC-AGI-3のスコアは、一般的な試験の正答率とは異なります。採点にはRHAE（Relative Human Action Efficiency：人間を基準にした相対的な行動効率）が使われます。

あるレベルを人間の基準では h 回、AIは a 回の操作で解いたとすると、レベルの基本スコアは次の考え方で計算されます。

レベルスコア＝ min｛1.15,（h ÷ a）²｝

例えば、人間の基準が10回、AIが100回なら、行動効率のスコアは（10÷100）²＝1%です。解けなかったレベルは得点できず、後半のレベルほど重く評価したうえで、環境ごとの得点と全環境の平均を求めます。

したがって「99.9%」は、「問題の99.9%に正解した」という意味ではありません。課題の達成度と、人間に対してどれだけ少ない操作で達成したかを集約した得点です。

この違いは記事全体の読み方を変えます。62.7%と99.9%の差は、単に正解した問題数の差ではなく、文脈管理の違いが探索や操作の効率にどう影響したかを含む差です。

問い1：何を測っているのか ―― 構成概念と操作的定義

「AGIテストで99.9%」という表現が強く見えるのは、測定論でいう構成概念妥当性の問題があるからです。

「汎用的な知能」は、体重のように直接測れるものではありません。そこで、初見の環境を探索し、ルールを推測し、効率よく目標を達成できるかという観測可能な課題に置き換えます。これが操作的定義です。

試験が直接示すのは、あくまで「この形式の環境を、この条件で、どの程度効率よく解けたか」です。そこから「汎用的な知能」全体についてどこまで言えるかは、別に検討しなければなりません。

ARC Prize自身も、ARC-AGI-3を飽和させても「AGI達成の証明」にはならないと明記しています。環境は範囲と形式が限定され、決定的で、閉じたルールを持つため、現実世界の複雑さや開放性をそのまま表してはいないからです。

これは英語試験にも似ています。TOEICの点数は英語力を捉える有用な指標ですが、英語力そのものではありません。点数を解釈するときは、どの技能を、どの形式で測ったのかまで見る必要があります。

問い2：どの条件で測ったのか ―― 同条件比較に組み替える

GPT-5.6 Solの公式なARC-AGI-3 Semi-Privateスコアは、標準ハーネス・maxで7.78%でした。これは2026年7月9日付の結果で、Astraの検証から約2か月前です。

比較したい要因以外をできるだけそろえると、次のように整理できます。

比較	そろえた条件	変わった主な条件	差
Sol max 7.78% → Astra max 62.71%	標準ハーネス、max	モデル	54.93ポイント
Astra max 62.71% → Astra max 98.55%	モデル、max	ハーネス	35.84ポイント
Astra high 54.82% → Astra high 99.95%	モデル、high	ハーネス	45.13ポイント
Sol max 7.78% → Astra high 99.95%	テストセット	モデル、ハーネス、推論量	92.17ポイント

最後の92.17ポイントは目を引きますが、3つの条件が同時に変わっているため、モデルの改善分とハーネスの効果に単純分解することはできません。どの順番で条件を変えるかによって差分が変わるのは、ハーネスと推論量の間に交互作用が見られるからです。

また、標準ハーネスではスコアが推論量に対して単調に増えていません。これは直ちに「測定誤差が原因」とは言えません。推論量を増やせば得点が必ず上がるという保証はなく、各設定の反復評価も示されていないため、非単調性の原因はこの表だけでは特定できない、というのが正確な読み方です。

問い3：「人間並み」は、どの指標での話か

ARC Prizeは、Provider Adapter・maxのAstraが、完了したレベルの96.0%で人間の基準より少ない操作数を使い、1レベルあたりの操作数も平均51.7%少なかったと報告しています。「人間並み」という評価は、主にこの行動効率についてのものです。

ここで注意したいのは、この比較に使われたのはProvider Adapterのmaxであり、見出しの99.9%を記録したhighとは異なることです。公式表では、Provider Adapter・maxは98.55%で17,332ドル、Provider Adapter・highは99.95%で18,817ドルでした。

費用についても単位をそろえる必要があります。ARC Prizeは、人間の参加者への支払いを1ゲームあたり約12.78ドル、AIの費用を評価全体の総額で示しています。1ゲームあたりと評価全体をそのまま比べることはできません。同じ数の環境、同じ試行条件、同じ費用範囲に換算して初めて、公平な費用比較になります。

別の注意点：pass@kはARC-AGI-3の得点ではない

AIベンチマークでは、同じ問題を複数回試し、1回でも成功した割合を示すpass@kが使われることがあります。各試行が独立で、1回の成功確率が一定の p なら、理論上は次の式です。

pass@k ＝ 1 −（1 − p）^k

例えばp＝0.3でも、8回試したときに1回以上成功する確率は約94.2%です。このため、pass@1とpass@8は同じ数字として比較できません。

OpenAIの発表では、SRE-Benchについて1回の試行で88.0%、4回以内では99.2%と分けて示されています。一方、ARC-AGI-3の62.7%と99.9%はpass@kではなく、RHAEによるスコアです。試行回数の注意は重要ですが、今回の37ポイント差を説明するものではありません。

ベンチマークを読むときの6つの欄

ベンチマークの数字を比較に使うときは、次の6項目を1枚の表にそろえると、条件の混在を防げます。

確認欄	今回の例	確認すること
モデル	GPT-6 Astra	モデル名だけでなく、版や提供時点も同じか
データ	ARC-AGI-3 Semi-Private	公開版・非公開版、問題数、測定日は同じか
ハーネス	標準／Provider Adapter	記憶、ツール、プロンプト、文脈管理は同じか
推論量	none〜max	比較相手と同じ設定か
指標と集計	RHAE	正答率、pass@k、行動効率など、同じ定義か
費用と時間	評価全体のAPI費用	総額か1問あたりか、同じ単位になっているか

数字だけが同じ列に並んでいても、この6欄がそろっていなければ公平な比較にはなりません。逆に、条件が違うことを明記すれば、それぞれの数字は「標準条件での性能」と「実運用寄りのシステム性能」という別の情報として役立ちます。

社内でAIツールを比較するときも同じ

この問題は、AI企業の発表に限りません。社内でA社とB社のAIツールを比較するときにも、担当者、プロンプト、参照資料、試行回数、採点基準が違えば、測っているのはモデルの差だけではなくなります。

最低限そろえたいのは、①同じ入力、②同じ指示と参照資料、③同じツールと権限、④同じ試行回数、⑤同じ採点基準、⑥同じ費用上限です。そのうえで、平均値だけでなく結果のばらつきも確認します。

例えば、成功・失敗の2値で評価し、真の成功確率を p、試行回数を n とすると、標本比率の標準誤差は概ね√｛p（1−p）÷n｝です。p＝0.5、n＝10なら約15.8ポイントなので、10回程度の試行だけで小さな差を断定するのは危険です。95%程度の幅を正規近似で考えると約19〜81%になり、かなり広いことが分かります。

こうした「比較したいもの以外の条件を固定し、ばらつきを含めて判断する」設計は、和からの統計・データ分析の法人研修で扱う実験計画・仮説検定の考え方そのものです。AIの導入判断を数字で行いたい方には、ビジネス統計・データ分析の個別指導でも同じ考え方を扱っています。