ARC-AGI-3の​スコアが​設定2つで​3倍に​なった​ ──OpenAIの​検証と、​ARC側の​反論を​解説

2026年7月29日、OpenAIが「API設定を2つ有効にしたら、ベンチマークのスコアが3倍になった」という検証結果を公開した^[1]。モデルもプロンプトも問題も変えていない。変えたのは、AIに過去の思考を持たせるかどうかと、会話が長くなったときの畳み方だけだ。スコアは13.3%から38.3%へ上がり、出力トークンはむしろ6分の1に減った。

翌30日、ベンチマークを運営するARC Prize側が「その結果は本物で有用だ」と認めたうえで、「公式スコアが素のハーネスを使うのは、公平さのためだ」と応じた^[2]。

この記事では、①何が起きたのか ②なぜスコアが低かったのか ③何を変えたのか ④ARC側の言い分 ⑤数字を並べる前に確認すること ⑥AIに仕事を任せる側が見るべき点 を順に見ていく。数値はすべて公式発表と公式アカウントの投稿に基づくもので、電脳技巧集団（CAG）自身が再現検証したものではない。

用語をひとつだけ。この記事で何度も出てくる「ハーネス」とは、AIモデルそのものではなく、モデルの外側にある足回りのことだ。会話の履歴をどう持たせるか、どの道具を使わせるか、長くなった文脈をどう処理するか——モデルを実際の仕事に接続する配管の部分を指す。

01 何が​起きたのか ──モデルは​同じ、​変えたのは​設定2つ

ARC-AGI-3は、AIエージェントの「学習能力」を測るベンチマークだ^[1]。見たことのない2Dパズルゲームを、説明なしで渡される。ルールは教えられない。AIは操作しながら「何をすると何が起きるのか」を自分で推測し、クリアを目指す。25本のデモゲームは誰でも遊べる。

OpenAIはここで自社モデルが振るわないことに戸惑っていた。GPT-5.6 Sol は数学の未解決問題を解き、ポケモン（FireRed）もクリアしているのに、2Dパズルでは公式リーダーボードで7.8%。前世代のGPT-5.5にいたっては0.4%で、ほとんどゲームにならなかった。

調べた結果が冒頭の数字だ。OpenAI自身が公式ハーネスで回すと13.3%。そこから設定を2つ変えると38.3%になった。同じモデル、同じゲーム、同じ問題である。リーダーボード上ではどのフロンティアモデルも最初のレベルから先へ進めなかったゲームで、設定を変えたGPT-5.6 Solは6レベル全部を解いたという。

参考として、OpenAIは公式のプレイログから人間のテスターの平均を48%程度と見積もっている。38.3%は、人間の平均にはまだ届かない位置だ。

02 な​ぜ​低かったのか ──​「考えた​内容」が​毎回​捨てられていた

原因は2つあった。どちらもモデルの外側、ハーネス側の仕様だ。

1つ目は、思考の破棄。 OpenAIのモデルは、返答や操作を出す前に「内部の下書き」を書く。人間でいえば、口に出す前に頭の中で組み立てている部分だ。ところが公式ハーネスでは、1手打つたびにこの下書きが全部捨てられていた。次の手番でAIに残っているのは「過去にどう動いたか」の記録と短いメモだけで、そこに至った推論・仮説・計画は消えている。

結果としてAIは、毎回このゲームを一から理解し直していた。だから1手ごとに長考し、同じところで足踏みする。OpenAI自身も当初は「モデルの出来が悪いように見えた」と書いている。

2つ目は、古い履歴の切り捨て。 公式ハーネスは会話が17万5千文字を超えると、古いメッセージから順に捨てる方式だった（ローリング切り捨て）。思考が残らないうえに、過去に何をしたかの記録まで、進めば進むほど消えていく。

この2つが重なると、AIは「学習するほど忘れる」状態になる。ARC-AGI-3が測ろうとしているのは、まさにその学習能力だった。

03 何を​変えたのか ──記憶を​残し、​畳んで​持ち歩く

OpenAIが有効にした設定は2つ。どちらもResponses APIで誰でも使える汎用の機能で、ARC-AGI-3のために作られたものではない。

① 思考を保持する（retained reasoning）。 直前の応答IDを渡すだけで、内部の下書きが次のターンへ引き継がれる。効果は2つ出た。1手あたりの思考時間が短くなり（毎回ゲームを解釈し直さなくてよくなるため）、時間をかけて学習し、一貫した戦略を取れるようになった。

② 圧縮して続ける（compaction）。 会話が長くなったら、古い方から捨てるのではなく要約して畳む。ローリング切り捨てには弱点が2つある。過去の観測と行動を失うことと、タスクの大半をコンテキストがほぼ満杯の状態で走ることになり、それ自体がわずかに性能を落とすことだ。

この2つで、スコアは約3倍、出力トークンは6分の1になった。性能とコストが同時に良くなっている点がこの検証のいちばん面白いところで、普通この2つは取引関係にある。よく考えさせようとすればトークンは増える。ここでは逆に、毎回考え直させていた無駄が消えたぶんだけ短くなった。

OpenAIの推奨も明快だ。レガシーのChat Completions APIではなくResponses APIを使うこと、思考を保持すること、compactionを使うこと。「自社製品（ChatGPTとCodex）で実際に使っているのと同じ設定にせよ」という言い方をしている。

04 ARC側の​言い​分 ──​「素の​ハーネス」は​手抜きではなく​設計

ここで終われば「OpenAIが正しく、ベンチマークが遅れていた」という話になる。実際にはそう単純ではない。

ARC-AGI-3は意図的に汎用のハーネスを使っている。 ツールも特殊機能もなし。理由は原文にはっきり書かれている——シンプルなハーネスの方がモデルの弱点が見えやすく、モデル同士の比較が公平になるからだ。商用の開発者は逆に、各モデルの癖に合わせてハーネスを最適化する。

ARC Prizeは翌30日の投稿で、OpenAIの結果を「本物で有用な結果だ」と認めたうえで、こう書いている^[2]。

ARCの検証済みスコアは「ハーネスなし」の方式を採る。開発者側に寄せた最適化が、意図の有無にかかわらず入り込むのを避け、すべての提供者間で公平にスコアを比較するためだ。全システムが同じ観測・同じシステムプロンプトを受け取り、同じ操作回数の制限のもとで動く。

そのうえで、サーバー側での状態管理の知見を、公平さと一貫性を保ったまま検証環境にどう取り込むか、OpenAIを含む複数の研究所と現在進めていると続けた。

共同創業者のFrançois Chollet氏は、線引きをさらに具体的に示した^[3]。ダメなのは、ベンチマークを解くために作られたハーネスや、問題形式の知識を持ち込んだハーネス。 問題ないのは、ARC-AGI-3のために作られたわけではなく、すべてのAPI利用者が使える汎用の設定。今回の2つは後者にあたる。さらに氏は、提供者ごとに設定が違えば比較の公平性に問題が出うるとしたうえで、「設定とコストが明記されているなら、それでいい」と述べている。

ハーネスという言葉自体は、以前この場所でも別の文脈で扱った。あのときの論点は「最強モデルより強い足回り」——供給が止まるリスクを設計で吸収する話だった。今回は同じ言葉が、性能とコストの側から効いている。

関連記事 ｜ 同じ言葉が、供給リスクの側から効く話「最強モデル」より強い harness ──能力アクセスが政策で止まる時代の設計 →

つまり争点は「ズルかどうか」ではなく、ベンチマークが何を測るべきかだ。モデル単体の素の能力か、それとも実際に使われる形での実力か。前者は比較の公平さを守り、後者は現実の性能に近い。どちらも正しく、そして両立しない。

05 数字を​並べる​前に​ ──38.3%と​30.2%は​同じ​土俵ではない

今回の発表は、報道では「GPT-5.6 SolがARC-AGI-3でOpus 5を上回った」という形でも紹介された^[4]。ここは慎重に読む必要がある。OpenAIの記事本文には、Opus 5との比較は書かれていない。

出てきた数字を、測り方ごとに並べるとこうなる。

数字	何を測ったか	回した主体
38.3%	公開セット・OpenAIのResponses APIハーネス（思考の保持＋compaction）	OpenAI
13.3%	公開セット・ARC公式ハーネス	OpenAI（再実行）
7.8%	公式リーダーボードの検証済みスコア（GPT-5.6 Sol・7月24日時点）	ARC Prize
30.2%	公式リーダーボードの検証済みスコア（Claude Opus 5）	ARC Prize
48%（推定）	人間テスターの平均	OpenAI（公式プレイログから推計）

38.3%と30.2%は、回した主体もハーネスも違う。この2つを並べて「勝った」と読むのは、自分でストップウォッチを押したタイムと公式記録を比べるのに近い。Chollet氏が「設定とコストを明記せよ」と言ったのは、まさにこの取り違えを防ぐためだ。

OpenAI自身も、記事の結論でこう書いている——評価はモデル単体を測ることはめったになく、API設定・ハーネス設計・プロンプトという、目に見えにくい選択の束も一緒に測っている。そして「公開ベンチマークの低スコアに驚いて調べたら、評価する側が思考を捨てる汎用ハーネスを使っていた、というのは今回が初めてではない」とも書いている。

評価環境の設定が実態とズレていた、という話は、性能だけの問題では終わらないこともある。前日に公開したAnthropicの事故報告は、まさに「ネット接続はない」と伝えた評価環境で、実際には接続が生きていたという食い違いが出発点だった。

関連記事 ｜ 評価環境の設定がズレると、何が起きるかAnthropicが公開した3件の侵入事故 ──評価テスト中のClaudeが実在企業に侵入するまでを解説 →

06 AIに​仕事を​任せる​側は、​何を​見れば​いいか

ここまでの話は、ベンチマークの内輪の議論に見えて、そうではない。同じモデルで結果が3倍違い、コストが6分の1になるというのは、AIを業務に入れる会社にとって、そのまま費用と品質の話だ。

読み替えると、こうなる。

• 「どのAIを使うか」だけでは、性能は決まらない。 同じモデルでも、外側の設計で結果が変わる。モデル名は選定基準の一部でしかない。
• 長い仕事ほど差が出る。 1問1答なら差は小さい。何十手も続く作業、何往復もするやり取り、長時間動くエージェントほど、記憶の持たせ方が効いてくる。
• 性能とコストは、必ずしも取引関係ではない。 無駄な考え直しを消せば、両方が同時に良くなることがある。「精度を上げるには金がかかる」は、いつも正しいわけではない。
• ベンチマークの数字は、測り方とセットで読む。 誰が、どのハーネスで、どのセットを回したか。ここが揃っていない数字は、比較に使えない。

私たち電脳技巧集団（AI職人ギルド）が受注対応や顧客対応のAIエージェントを実装するときも、時間を使うのはモデル選びではない。顧客ごとの記憶をどう分離して持たせるか、長い会話をどこで畳むか、どの判断を人間に引き継ぐか——手を入れるのは、たいていモデルの外側だ。今回OpenAIが公開したのは、その外側が数字にどう出るかを一次データで示した例といえる。

発注する側が確認できることは、実はシンプルだ。「うちの案件で、AIは前回の検討経緯を覚えていますか」「会話が長くなったとき、古い情報はどう扱われますか」。この2問に具体的に答えられるかどうかで、相手がモデルの外側を設計しているかが分かる。

強いモデルを選ぶことと、そのモデルに記憶を持たせることは、別の仕事だ。今回の3倍という数字が示したのは、後者を誰もやっていなかったときの伸びしろだった。