Google DeepMind、重みも試験問題も互いに見せない「二重盲検」評価をパイロット

ベンチマークのスコアは、試験問題が事前に漏れていないという前提の上に成り立っている。Google DeepMindが2026年8月27日に発表したのは、その前提を契約や運用ルールではなく暗号技術で担保しようとするパイロットである¹。同社はこれを、プロプライエタリなフロンティア級AIモデルに対する世界初の二重盲検（double-blind）評価だと位置づけている¹。

組んだのは Singapore AI Safety Institute、OpenMined、AVERI、MLCommons の4者¹。同時公開された技術レポートによれば、実際に評価にかけたモデルは Gemini 2.5 Flash Lite で、非公開のAILuminateベンチマークの一部を使い、Google Cloud上のNVIDIA H100セキュアエンクレーブと、OpenMinedのPySyftでデータとモデルの機密性を保った構成だった²。

「答えを見た生徒」の問題

技術レポートは、ベンチマークが信用できるかという問いを2種類に分けている。1つは意図的なもので、あるフロンティアラボが27個の非公開モデル派生をChatbot-Arenaで試し、最高得点のものを公表したという「ベンチマークハッキング」の指摘が引かれている²。

もう1つは偶発的な汚染である。レポートはこちらも深刻な問題だとし、信頼・契約・ゼロログ方針だけでは解決できない可能性があると述べている²。ある研究では、テストした31モデルのおよそ半数について、事前学習と事後学習の双方でベンチマークデータの漏洩を示す強い証拠が見つかっている²。別の研究は、テストセットの汚染が測定されるベンチマーク性能を押し上げ、その押し上げ幅は汚染量とモデルサイズの双方とともに大きくなることを示している²。

この構図は、音声認識モデルが「テストの答え」を覚えているかを11モデルで検査した研究や、ICML 2026の論文2,226本をエージェントで再現した試みが扱ってきた問題と地続きである。NVIDIAがARC-AGI-3の公開セットで満点を出した研究がモデルではなく外枠の組み替えで達成されたように、スコアは測り方の条件次第で動く。今回のパイロットは、その手前にある「試験問題が事前に見られていないこと」を対象にしている。

Googleはこれまでも、専門の研究機関や市民社会、各国のAI安全・セキュリティ研究所といった外部パートナーと組んでモデルを検証してきたとしている¹。ゼロログのプロトコルと厳格な契約上の保護措置は長年にわたって外部の試験プロンプトを秘匿してきたが、技術的・暗号的な保護を組み込むことが安全なモデル評価における前進になる、というのが同社の説明だ¹。技術レポートはより踏み込んで、モデル所有者のAPI経由では試験プロンプトが平文で相手に渡ってしまうため評価者は単純にAPIを使えず、契約とゼロログの仕組みだけでは将来の学習実行への意図しない漏洩を防ぎきれない可能性がある、と書いている²。

双方が相手のものを見ないまま評価する

従来の高リスクな外部評価にはトレードオフがあったとGoogleは整理する。評価側が試験プロンプトを渡す（提供側に問題を事前に見られる恐れ）か、提供側がモデルの重みを渡す（知的財産のリスク）か、どちらかだった¹。

二重盲検評価はここを分解する。Google CloudのConfidential Computingに含まれる Confidential Space を使い、外部の評価データとプロプライエタリなモデルの双方がそれぞれの所有者にとって秘匿されたままであることを暗号的に検証する。評価側はGeminiのモデルの重みを見られず、Googleは評価側の試験プロンプトを見られない¹。技術レポートは仕組みの核を、ハードウェアレベルでRAM上のデータを暗号化するセキュアエンクレーブだと説明している²。

実験の構成も具体的に書かれている。プロンプトは AILuminate（AIRR 1.4）の予備セット、つまりどのモデルにも一度も処理されたことのないプロンプト群から取られた²。対象となった危険領域は、化学・生物・放射性物質・核・爆発物（CBRNE）のハザード、サイバー攻撃、ヘイトスピーチ、自傷、暴力犯罪の誘発などである²。プロンプトと出力の暗号化・復号はAVERIが行い、出力の評価もAVERIのスタッフが担当した²。ハードウェアはIntel TDXによるホストメモリ暗号化を備えたGoogle CloudのA3 Confidential VMで、NVIDIA H100 80GB Confidential GPUを搭載していた²。

Googleは、この暗号的な証拠がベンチマーク汚染の防止と機微なデータの保護に役立つとしている¹。モデルが高性能になるほど、サイバーセキュリティ関連や政府機関による極めて機微な評価で重要になり、独立組織がデータ主権やセキュリティを損なわずに高度なモデルを厳密に試験できるようになる、という位置づけだ¹。

レポート自身が書いている限界

注意深く読む価値があるのは、技術レポートが自らの限界を明記している点である。

まず、すべてのコードを検査できたわけではない。オープンソースのライブラリに存在する層だけでGemini 2.5 Flash Liteを動かすことは、このプロジェクトにとって工学的な負担が大きすぎると判断され、プロプライエタリな実装を排除しきれなかった。結果としてコードのすべてを検査・許可リスト化することはできず、AVERIはこの課題を伝えられたうえでエンクレーブを含む全体構成を受け入れた²。

次に検証経路の問題がある。Confidential Spaceのゲスト OS は参照値が公開され、ソースも公開、ビルドパイプラインも外部検証を受けているものの、個々のビルドは秘密の署名鍵を入力に取るため独立に再現できない。加えてアテステーション報告の署名と検証はGoogleのサービスに依存しており、これがGoogleを検証経路に置くことで同社に対して置かれる信頼を増やす、とレポートは書いている²。

もう1つ、実務的に示唆が大きいのはボトルネックの所在である。レポートは、安全な二重盲検評価の主なボトルネックはもはやハードウェアの計算オーバーヘッドではなく、法的合意とコードレビューに必要な手続き上のオーバーヘッドと人的な調整だと述べる²。長期的には、複雑な依存関係のハッシュや鍵を抽象化し、ほぼ人手を介さない標準的な暗号アテステーションのパイプラインを目指すべきだとし、業界にとっての最終的な目標をウェブの「HTTPSの鍵アイコン」の類比として挙げている²。

次の段階として挙げられているのは規模の拡大だ。フロンティアモデルは数兆パラメータを超えて成長しており、評価には分散した機密計算クラスタが必要になる。暗号化された接続を持つ多ノードのNVIDIA H100/B200クラスタへの拡張と、内部のモデルアーキテクチャを隠蔽する遅延実行フレームワークの組み合わせが、次のマイルストーンだとされる²。さらに先の話として、検証とアテステーションの保証がサイバーセキュリティのような能力の安全な評価に役立つ可能性がある、とレポートは推測を明示したうえで述べている。モデルが自身のハーネスや重み、サンドボックスを変更しようとすれば、エンクレーブのハッシュがアテステーションと一致しなくなり、インスタンスは即座に停止する、という説明だ²。

スコアは公表されていない

この発表で公表されたのは仕組みと実施の事実であり、評価の結果そのもの、つまりGemini 2.5 Flash Liteが何点だったかはブログにも技術レポートにも書かれていない。今回のパイロットから読み取れるのは、モデルの安全性についての結論ではなく、そうした結論を出すための土台の話である。

モデルを選ぶ側の立場からすると、当面この仕組みが自社の判断を直接変えることはない。パイロットの対象は最上位モデルではなくGemini 2.5 Flash Liteであり、一般提供の予定も費用も示されていない。ただし、公開ベンチマークの数字を比較材料にする場面で、その数字が「答えを見ていないモデル」のものかどうかを問う語彙が1つ増えたことにはなる。レポートが挙げたHTTPSの鍵アイコンという比喩は、そこまで来て初めて意味を持つ目標として置かれている。