NVIDIA、ARC-AGI-3の公開セットで100.00 - モデルではなく「外枠」を組み替えた研究

AIエージェントを業務に入れるとき、最初に決めるのはたいてい「どのモデルを使うか」である。NVIDIAが2026年8月21日に公開した研究報告は、その手前にもう1つ大きな変数があることを、公開ベンチマークのスコアで示している¹。

同社の研究プロジェクト AVO（Agentic Variation Operators） は、対話型推論ベンチマーク ARC-AGI-3 の公開セット25環境・183レベルすべてを、RHAEスコア100.00、6,624回の環境アクションで解き切った¹。使ったモデルはAnthropicの Claude Opus 5 である。同じモデルについて、ARC Prize側はHigh reasoning effortで**約30%**を別途報告している¹。

モデルの外側にある「ハーネス」

NVIDIAはこの記事の冒頭で、エージェントの構成をこう整理している。最前線の言語モデルはAIエージェントの1つの部品にすぎず、その周囲を囲むシステム——しばしばハーネスと呼ばれる——が、モデルにどう文脈を渡すか、どうツールを使うか、状態をどう保つか、フィードバックにどう応じるか、失敗からどう回復するか、長時間のタスクでどう前進を続けるかを決める、という説明である¹。

AVOはそのハーネスを含めた汎用のコーディングエージェントとして作られている。既存のコーディングエージェントと同じようにコードを読み書きし、コマンドを実行し、ドキュメントを参照し、実行によって自分の作業を検証する。NVIDIAが違いとして挙げるのは、長い時間にわたって自律的に動き続けることに焦点を置いている点である¹。

そのために重要な仕組みが2つある¹。

1つは永続メモリで、過去の実装、評価結果、コンパイラやプロファイラの出力、積み上がった推論を持ち越す。探索を毎回作り直すのではなく、いまの状態から再開できるようにするためのものである¹。

もう1つはスーパーバイザーである。全体の進み方を見ていて、停滞や実りのない繰り返しを検知すると、メインのエージェントを別の戦略に向け直せる¹。実際、後述する7日間の実行では、何を調べ、変え、テストし、評価するかを決める役割はメインのエージェントが持ち続け、探索が頭打ちになったときにスーパーバイザーが前進を助けた、と説明されている¹。

もとはGPUカーネルを速くする仕事だった

AVOはARC-AGI-3のために作られたものではない。最初に試されたのはGPUカーネルの最適化で、こちらのほうが素性がわかりやすい。

注意機構カーネルの研究では、AVOは7日間連続で動き続け、500を超える最適化の方向を探索し、40個のカーネル版をコミットした¹。NVIDIA DGX B200上で、できあがったマルチヘッド注意カーネルは、評価した構成の範囲でcuDNNを最大3.5%、FlashAttention-4を最大10.5%上回ったという¹。いずれもNVIDIAの自社計測で、「最大（up to）」付きの数値である。さらにその後、進化させたカーネルをグループ化クエリ注意（GQA）向けに適応させる作業を、約30分の追加の自律動作でこなしたとしている¹。

NVIDIAがこの実験で示したかったのは最終的なカーネル性能そのものより、1手ずつ人が指示しなくても生産的な作業ループを長く回せることのほうだ、と書いている¹。

ARC-AGI-3で何をしたか

ARC-AGI-3は、エージェントが説明も明示的なルールも目標も与えられないまま、見たことのないゲームのような環境に置かれるベンチマークである。相互作用を通じて探索し、環境の力学と目的を推論し、難度が上がっていくレベルを効率よく計画して進む必要がある¹。指標の RHAE（Relative Human Action Efficiency） は、タスクの完了と、レベルごとの行動効率を初回プレイの人間の基準と比べて組み合わせたものだ¹。

NVIDIAは、明示的にプログラムで世界モデルを作る方式（Tychoなど）ではなく、VISTAが示した直接相互作用の設計原則を採り、タスクのインターフェースを独自に実装し直した¹。ただしエージェントの中身は別物で、VISTAはClaude CodeごしのClaude Opus 5やCodexごしのGPT-5.6 Solでハーネスを動かすのに対し、こちらは永続メモリとスーパーバイザーと独自の実行ループを持つAVOが動く¹。

観測の渡し方も違う。VISTAの主要な構成が512×512のPNG画像を使うのに対し、AVOの構成ではモデルはテキストだけを扱い、各観測は64×64のテキストグリッドとして渡された。画像も画像トークンもモデルには送っていない¹。エージェントには使える行動が渡されるだけで、ゲームのルールや目標の説明はなく、効果は相互作用から推論するしかない¹。

結果として、AVOはClaude Opus 5で公開25環境をRHAE 100.00で完了し、183レベルすべてを6,624回の環境アクションで解いた¹。NVIDIAはこれに参考値として、VISTAが同じ183レベルの完了に7,542回の環境アクションを報告していると引いたうえで、このシステム間の比較ではAVOのアクション数が約12%少ない、と書いている¹。VISTA側の数値はNVIDIAの記事内での引用であり、本稿ではVISTAの原資料には当たっていない。

数値をどう読むか

この報告は、自分の数字に対する但し書きが多い。読むときに落とすと意味が変わるものを挙げておく。

100.00は公開セットの数値である。 NVIDIAは記事末尾の編集後記で、公開セットとsemi-private・privateの競技セットを区別する表現に修正したと明記しており、本文でも「これらの結果は25環境のARC-AGI-3公開セットを公式スコアカードとRHAE指標で測ったものであり、semi-privateや完全にprivateな競技セットの結果ではない」と断っている¹。

30%から100.00への差はAVOの寄与を測ったものではない。 ARC Prizeが別途報告する約30%は、同じモデルファミリーでも推論設定が異なり、エージェントシステムも評価の枠組みも大きく違う。だからこれらの数値をAVOの性能寄与の直接的な測定と解釈すべきではない、とNVIDIA自身が書いている¹。示しているのは「モデル単体の評価では、完成したエージェントの性能を説明できない」ということのほうだ¹。VISTAとの12%差についても、エージェントのバックエンド・観測表現・メモリ・文脈管理などが異なるため統制されたアブレーションとして解釈すべきではない、と同じ留保が付いている¹。

AVOは製品ではない。 NVIDIAは研究プロジェクトと明記しており、TechCrunchも新しいNVIDIA製品ではないと補足している²。同社がハーネスを組む部品を出しているのはNemoブランドの下で、商用のものと公開されているものが混在する、というのがTechCrunchの説明である²。

なお、公開セット全体の結果はClaude Opus 5で出したものだが、難しいゲームの一部でAVOをGPT-5.6 Solと組み合わせた限定的な実験もある。同じレベルに到達するまでの実時間はSolのほうが速い場合が複数あり、同じレベルで比べたときの環境アクション数はOpusのほうが少なかった、という予備的な結果が報告されている¹。体系的な比較は今後の課題とされている¹。

7月のOpenAIの報告と並べて読む

同じARC-AGI-3をめぐっては、7月末にOpenAIが似た方向の報告をしている。公式ハーネスで公開セット13.3%だったGPT-5.6 Solが、ChatGPTとCodexで使っている2つのAPI設定（推論の保持とコンパクション）を有効にすると38.3%になり、出力トークンは6分の1になったという内容だった（OpenAI、ARC-AGI-3のスコアが「2つのAPI設定」で約3倍になったと報告）。当時OpenAIは、評価はモデル単体ではなくAPI設定やハーネス設計を含む選択の束を測っている、と結論づけていた。

今回のNVIDIAはその先にある。設定を2つ変えるのではなく、永続メモリとスーパーバイザーを備えたハーネスをまるごと持ち込み、公開セットを解き切ってみせた。しかもそのハーネスは、もともとGPUカーネル最適化のために作られたものである。NVIDIAが最も重要だとしているのも100.00という数字ではなく、同じアーキテクチャが専門的なカーネル最適化から、まったく異なる対話型推論のタスクへ移ったことのほうだ¹。インターフェースは違っても、仮説を立て、行動し、証拠を観察し、状態を更新して続ける、というループは同じだった、という説明である¹。

手元の環境で何が変わるか

自社でエージェントを動かしている場合、この報告の使いどころは「NVIDIAのAVOを待つ」ことではない。使えないからだ。効いてくるのは、うまく動かないときに何を疑うかの順番のほうである。

長時間のタスクでエージェントが同じところを行き来する、途中で文脈を失って最初からやり直す、といった症状に対して、まずモデルを上位のものに差し替えるという判断をしがちだが、NVIDIAが挙げる2つの機構——**セッションをまたいで何を持ち越すか（メモリ）**と、停滞を誰が検知して方向を変えるか（スーパーバイザー）——は、どちらもモデルの外側にある。長時間能力はシステム全体の性質であり、メモリが何を生き残らせるか、ツールがどの行動を可能にするか、フィードバックが進捗をどう地に足のついたものにするか、回復がモデルの1回の呼び出しを超えて作業を続けさせるか、で決まる、というのが同社の整理である¹。

この「外枠をどう組むか」は、既製のツールを使う場合にも判断材料になる。直近ではCursorがイベントを購読して自分で起きる仕組みと /goal を追加しており、目標を達成まで保持する、長いセッションで軌道を維持する、といった機能が製品側にも降りてきている。作業の途中経過をどこで人が見て止めるかという部分も外枠の一部で、Slackがコーディングエージェント専用の「code channel」を追加したように、計画・diff・承認を置く場所そのものが製品の選択肢になりつつある。また、許可を求める頻度をどう設計するかも外枠の設計判断で、Claude Codeがauto modeを既定にした経緯はその一例にあたる。

NVIDIAはこの記事を「モデルは重要だが、モデルがエージェントのすべてではない」という一文で締めている¹。ベンチマークのスコアを見るときも、比べているのがモデルなのかエージェントシステムなのかを分けて読む必要がある、というのがこの報告の実務的な含意になる。

AVOの詳細は論文「AVO: Agentic Variation Operators for Autonomous Evolutionary Search」として公開されており、記事末尾からたどれる¹。ARC-AGI-3のベンチマーク本体とスコアリング方法についても同じ場所にリンクがある¹。