OpenAIが7月29日、パズルゲームでエージェントの学習能力を測るベンチマークARC-AGI-3について、スコアが実行環境の設定で大きく変わったと報告した1。同社によれば、GPT-5.6 Solは公式ハーネスで公開セット13.3%だったが、ChatGPTとCodexで使っている2つのAPI設定（推論の保持とコンパクション）を有効にすると38.3%になり、出力トークンは6分の1になった1。スコアは人間の基準と比べるRHAEという指標で、公式のプレイログから推定した人間テスターの平均は48%だという1。
原因として同社が挙げるのは、公式ハーネスが行動ごとに推論を破棄していたことと、文脈が175,000文字を超えると古いメッセージから捨てるローリング切り詰めを使っていたことである1。ARC側は、機能を持たない汎用のハーネスのほうがモデルの弱点が見えやすく比較も公平だという考えでこの設計にしていた1。同社は結論として、評価はモデル単体ではなくAPI設定やハーネス設計を含む選択の束を測っている、と書いている1。あくまで同社自身の実験結果であり、第三者による再現ではない。
Sources
- How enabling two settings tripled our scores on the ARC-AGI-3 benchmark - OpenAI公式（Ilan Bigio、Ted Sanders、2026年7月29日）
- OpenAI has successfully tripled its ARC-AGI-3 score by improving the GPT-5.6 harness - GIGAZINE（2026年7月31日）
▶ 📝 この記事へのフィードバック