ICML 2026の論文2,226本をエージェントで再現した結果 - 23%で主張の反証・異議、242本で判定が割れる

Hugging Faceは2026年8月13日、機械学習の国際会議 ICML 2026 で採択された論文を、コミュニティが持ち寄ったコーディングエージェントで主張ごとに再現する試みの結果を公開した¹。7月15日から8月2日までの19日間で、1,200人を超える参加者が6,816件のログブックを公開し、2,226本の論文に着手した。これは学会全体のおよそ3分の1にあたる¹。

結果を論文単位で集計すると、検討された論文の51%（1,103本）で少なくとも1つの主張が独立に検証された一方、23%（496本）で少なくとも1つの主張が反証または異議を受けた¹。そして242本では、独立した再現チームが同じ主張について正反対の判定に達している¹。記事はこれを「再現性は二値ではなく、敵対的なものだ」と表現している¹。

ここで扱われているのは ICML 2026 という1つの学会の、しかも採択論文の34%に限った結果であり、機械学習研究全体の再現性を代表する数字ではない¹。以下はその範囲を前提とした整理になる。

レビューが追いつかない規模

Hugging Faceがこの試みを始めた動機として挙げているのは、投稿数の伸びとレビュー容量の乖離だ。ICML 2026 は23,918本の投稿を受け付け、6,352本を採択した。これは前年のおよそ倍にあたり、指数的な傾向が続いているとしている¹。その要因の一つとして、AIエージェントが実験の実行と論文化を速くしていることを挙げている¹。

一方でレビューの容量は倍増していない。多くの学会でレビュアーはボランティアであり、論文を完全にレビューする時間や専門性を持たない場合があるとして、採択されたスポットライト論文のレビューから、レビュアー自身の言葉を引いている。「確信度のスコアが低いのは、すべての証明を注意深く確認しなかったからだ」¹。この論文は高いスコアとスポットライトを得ていた¹。

その状況に対して、投稿の洪水を生んでいるのと同じ技術が、追いつくためにも使えるという見方が置かれている。論文を丁寧に確認する作業はかつてレビュアーの週末を1回分消費したが、エージェントなら午後1回で、並列に、何千回でも試せるという整理だ¹。

判定の仕組み

結果の読み方は、どう判定したかに左右される。Hugging Faceは仕組みを次のように説明している¹。

採択論文6,341本を要旨とともに索引化し、各論文の中核的な科学的主張を抽出した。エージェントが40ページのPDFではなく、具体的で検証可能な対象から始められるようにするためで、同じ論文を複数人が再現することは奨励された¹。参加者が使ったエージェントは Claude Code、Codex、Cursor、OpenResearch の orx などさまざまで、統一されていない¹。

各実行は Trackio ログブックという公開の記録になった。書き上げた文章、実行したコード、生成物、任意でエージェントの実行トレース全体が含まれる。監査の過程そのものが監査可能でなければならない、という考え方が置かれている¹。

判定は自動の Logbook Judge が担い、その中身はオープンウェイトモデルの GLM-5.2 である¹。Z.aiが公開しているモデルで、当サイトではその後継にあたる GLM-5.3 の公開を8月15日に扱っている。すべてのログブックを読み直し、主張ごとに verified（検証）、falsified（反証）、toy（縮小規模での証拠）、inconclusive（決着せず）の判定を出す。判定側は各ログブックの自己評価を信用しないよう明示的に指示されたとしている¹。

参加者には HF Jobs 用に20ドル分の計算クレジットが配られ、期間中に2,962件のクラウドジョブが起動された。データセットが専有だったりチェックポイントが未公開だったりして完全な再現が不可能な場合は、元の性質を模した合成データによる縮小版で行われた¹。最終的に判定されたのは35,908件の主張で、判定はすべてチャレンジ終了時点で公開データセットに凍結されている¹。

51%と23%が指しているもの

数字の定義には注意がいる。51%（1,103本）は「少なくとも1つの主張が独立に検証された」論文の割合であり、論文全体が再現できたという意味ではない¹。抽出されたすべての主張が検証されて完全に再現されたのは266本で、さらに632本が部分的に再現され反証はなかった。実際の実験で確認された個別の主張は合計3,978件になる¹。

同じく23%（496本）も「少なくとも1つの主張が反証または異議を受けた」割合で、うち49本はすべての主張が反証され、何も検証できなかった¹。残りは中間に位置し、502本は縮小規模の証拠のみ、280本はどちらとも確立できなかった。後者の最も多い原因は生成物の欠落だとされている¹。

うまく再現された例も挙げられている。“Flat Minima and Generalization: Insights from Stochastic Convex Optimization” は20の独立したチームが再現し、うち12がすべての主張を検証した¹。“A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness” は17件のログブックのうち14件がすべての主張を検証している¹。

何が壊れたか

反証を正式に主張した参加者は35人で、Hugging Faceはその全件を敵対的に再検証したとしている。論文を読み直し、ログブックを読み直し、論文自身の記述から数式を導き直すか実験を再実装するという手順だ¹。確認された例として、次のようなものが報告されている。

冒頭で引かれたスポットライト論文 “Towards Optimal Robustness in Learning-Augmented Paging” では、参加者のログブックが加法項が 0.38 ln k のように増えることを測定し、証明が破綻する箇所を特定した。Hugging Face側の再実装で k=1,024 まで範囲を広げ、およそ9シグマでその増加を確認したとしている¹。

“Attention’s forward pass and Frank-Wolfe” では、3つの独立したチームが反例を見つけた。違反が最初に現れたのは t = 224、約3,800、6,416ステップで、これが他の参加者が主張を「検証」と判定した理由を説明するとされる。有限の時間幅での確認が早く止まりすぎるためだ¹。著者は同日に確認し、修正に取り組んでいるという¹。

“Self-Distillation Enables Continual Learning” では、論文の中心的な式と理論のセクション全体が逆KLダイバージェンスを解析しているのに対し、公開されたコードの既定は順KLを計算していた。著者によればそのコードが論文のすべての結果を生んだという¹。これを見つけたログブックは、著者自身のコードとデータでも論文の目玉である+4ポイントの結果を再現できなかったとしている¹。

数値の見え方が変わる例として分かりやすいのは “Do Transformers Need Three Projections?” だ。評価対象のラベル位置のおよそ66%が、損失がほぼゼロに学習される EOS のパディングトークンで、パープレキシティをおよそ3分の1に見せかけていた。要旨にあった「キャッシュ50%削減に対して品質コスト3.1%」は、補正するとおよそ9.4%になるという¹。

反証されたほうが誤っている場合もある

一方で、反証の側が間違っていた例も公開されている。あるログブックは「論文の手法はベースラインより2倍遅い」と主張したが、これは再現側の算術のバグで、1軌跡あたりの時間を50件のバッチあたりの時間と比較していた。正しく正規化すると、参加者自身のデータが論文の主張する8倍の高速化を裏づけたとされる¹。

Hugging Faceは確認された指摘について著者に連絡を始めており、「これが見つかった、これが証拠のすべて、同意するか、それとも我々の分析が誤っているか」という枠組みで問いかけているという¹。これまでに複数の論文について著者が指摘を確認し、2件の arXiv 訂正が進行中で、1件は著者がチャレンジの発見より1か月前に新しい版で静かに修正していたとしている¹。

エージェント単独では止まらなかったところ

この試みの結論として置かれているのは、エージェントが人間のレビューを置き換えたという話ではない。Hugging Faceは、エージェント単独の実行が現実の限界にぶつかったとして、局所的なループにはまる、スケール依存の挙動を読み違える、単位の不一致の上に反証全体を組み立てる、といった例を挙げている¹。paging論文で「検証」の判定が複数出たのも、log k の増加が見える前に確認を止めたためだとされる¹。

最も信頼できる結果は、人間が舵を取るワークフローから出たという。エージェントの向きを変え直す、前提を問う、計算資源を1週間燃やす前に実験の前提が誤っていると判断する、といった介入だ¹。極端な量子化の下での画像生成を扱った例では、数値指標は「崩壊なし」と示したものの、画像が実際に使えるかは知覚の問題であり、人間が128組の画像ペアを自分で判定したうえで、その一貫性をエージェントが後から検証したとしている¹。

人間のレビュアーの役割について、記事は「知性を効果的にマネジメントすること」だとし、主任研究者が大学院生の働ける環境を整えるのと同じだとする比喩を置いている。エージェントから最も多くを引き出したのは、正しい環境を作り正しい問いを立てたうえで走らせた参加者だったという¹。

論文の数字を根拠に使うとき

同じ8月に Hugging Face が公開したHub上のオープンモデルの実データ分析が、注目と実利用の乖離を扱っていたとすれば、今回の報告は主張と検証の乖離を扱っている。どちらも、一次的に目に入る数字とその裏側が離れていることを、母集団を限定したうえで具体的に示すという性格を持つ。

モデルや手法を選ぶ場面では、ベンダーが自社で測った数値を扱うことも多い。Gemini 3.7 Flash の発表のように、比較対象が自社の前世代のみで独立検証がないベンチマークは珍しくない。今回の結果が示しているのは、査読を経た学術論文の側でも、主張の一定割合は独立の再現で崩れるか、判定が割れるということだ。242本で正反対の判定が出たという数字は、1回の再現で決着しないケースが実際にあることを意味する。

ただし、この結果自体も無条件に受け取れるものではない。判定は自動のジャッジが出したもので、反証の主張35件は再検証されているが、検証側の全件が同じ手続きを経たわけではない。参加者はボランティアで、エージェントの構成も計算予算も一様ではない、と記事自身が述べている¹。それでも、ログブック、判定、トレース、生成物のすべてが公開されているため、個々の判断の当否は読み手が自分で追える構造になっている¹。数字そのものより、この検証可能性のほうが実務で使える部分かもしれない。