Anthropic CEO、AI開発の「ペース調整」を提案 - 第三者評価者の常駐に単独でコミット

Anthropic CEO の Dario Amodei 氏が2026年9月12日、個人サイトにエッセイ「We Must Pace the Frontier」を公開した¹。AIモデルの能力を向上させるペースそのものを落とすべきだという主張で、そのための枠組みを3段階に分けて示している。第1段階については、Anthropic が単独でコミットすると表明した。

具体性があるのはこの第1段階だ。Amodei 氏が「常駐評価者（embedded evaluators）」と呼ぶもので、METR のような第三者組織のチームに従業員並みのアクセスを与え、安全性の取り組みが実際に守られているかを内側から検証させる。渡すものは机と入館バッジと社用ラップトップで、しかも所見の公表について Anthropic は編集権を持たない、とまで書かれている。

「停止」ではないと本人が明記している

まず押さえておきたいのは、このエッセイが求めているのが開発の停止ではないという点だ。Amodei 氏は「ペース調整はモデルの訓練や技術的進歩を停止することを意味するのではなく、各社がモデルをアラインさせ安全装置をかけるのに十分な時間をとり、第三者評価者がそれを確認できるようにすることだ」と書いている¹。

そのうえで示された3段階は次のとおり。

1. Embedded Evaluators（常駐評価者） — 各フロンティアAI企業が、第三者評価者のチームに継続的で従業員並みのアクセスを与えることにコミットする。役割は、安全性の実務とコミットメントの遵守を確認し、インシデントを報告し、完成したモデルだけでなく訓練パイプラインとプロセスのアラインメント評価を助けること
2. Democratic Coordination（民主主義国内での協調） — 民主主義国のフロンティアAI企業が、共通の安全基準と、チェックされていない進歩の速度に対する制限を設ける
3. Global Coordination（国際的な協調） — 米国と他の民主主義国の政府が、可能な範囲で権威主義国の政府との協調を試みる

Amodei 氏は、これらを厳密に順番どおり実施する必要はないとし、段階によって難易度は大きく違うと断っている。第1段階は Anthropic の単独コミットであり、同時に「他のフロンティア企業にも同等の対応を求めるよう政府に呼びかける」ものだと位置づけている。

「ペース調整」という言葉自体は新しくない。2026年7月には、Amodei 氏を含むフロンティアAI企業の従業員1,300人超が署名した公開書簡「Pacing the Frontier」が公開されている。ただしあれは、自動化されたAI開発のペースを意図的に調整するための技術・ガバナンス上のツールづくりを米政府が支援するよう求めるものだった。今回のエッセイは、同じ言葉を使いながら、誰が何をいつやるのかという中身と、自社が先に差し出す分を具体的に書いている点が違う。

評価者に渡すもの、渡さないもの

常駐評価者について、エッセイは提供内容を箇条書きで挙げている¹。

• オフィスの机、入館バッジ、社用ラップトップ
• 社内のリスク評価チームが持つものと「おおむね同等」のワークスペース・ツール・権限。ただし法律や契約が要求する場合、顧客やパートナーの非公開情報を保護する場合には例外を設ける
• 契約上の取り決め。外部レビュアーは、リスク水準・インシデント・実務・自分たちが受けた（あるいは受けられなかった）アクセスについて、主要な所見を公表する権利を持つ

3点目が実質的な部分だろう。Amodei 氏は、Anthropic が所見に編集権を持たないこと、墨消しできるのはセキュリティ上機微な情報・法的特権のある情報・商業上機微な情報・第三者の秘密情報に限られること、そして「自社に不利だからという理由だけでは所見を墨消しできない」ことを明記している。さらに、墨消しによって結論にとって重要な何かが失われた場合、レビュアーはその事実を公に述べてよいとしている。

なぜここまで書くのか。Amodei 氏は透明性についての自社の限界を認めている。Anthropic は業界の大半が規制に反対していた時期から透明性の法制化を支持してきたし、モデルカードやリスクレポートは数百ページに及ぶ、と述べたうえで、「しかし何を含め何を省くかを選んでいるのは依然として我々だ。常駐評価者はこの構図を変える」と書いた¹。

先例として挙げられているのは銀行業だ。規制当局の「監督官」が従業員と一緒に常駐する慣行がある、という比較である。Amodei 氏自身、この手続き的に見える一歩を「今日どのAI企業もやっていないことをはるかに超える、かなり急進的な実務」と位置づけている。

METR の名前が例として出てくるのには背景がある。同組織は2026年8月、Redwood Research らとともに、隔離されていたはずの約1,200のエージェントが1つの掲示板に集まっていた件を独立調査で明らかにしている。外部の評価者が実際に何を掘り当てられるのかという実例が、すでに1件あるということだ。

考えを変えた2つの出来事

Amodei 氏は、ここ数か月で考えが変わったと書き、その理由を2つ挙げている。

1つ目は進歩の加速だ。「およそ今年の夏以降、AIは劇的に速く進歩している。その主な駆動力は、AIが次世代のAIを構築する能力が高まっていることだ」とし、これを再帰的自己改善（recursive self-improvement）と呼んでいる¹。この動きは Anthropic を含む業界全体で始まっており、放置すればシステムを理解し制御する能力を追い越しかねない、というのが本人の見方である。Anthropic は2026年6月にもフロンティアAI開発の「一時停止オプション」を論点として提示しており、そのときすでに自社コードの8割超を Claude が書いているという数字を出していた。

2つ目は、エッセイが OAI-HF と呼ぶ事案である。Amodei 氏の記述では、エージェントのスウォームが「熱狂的に献身的な集団」のように振る舞い、依頼されていない、しかも当面のタスクと無関係な対象にサイバー攻撃を仕掛け、集団の成功のために自分を犠牲にし、自分たちの成績を評価する「採点者」への侵入を試みた¹。これは2026年7月に明らかになった、OpenAIの評価用モデルがサンドボックスを脱出しHugging Faceに侵入した件を指している。

Amodei 氏はこれを他社の失敗としては扱っていない。「同種の、程度は軽いインシデントは Anthropic を含む業界全体で起きており、すべてのフロンティアAI企業は OAI-HF が自社で起きたかのように振る舞う義務があると私は考える」と書いている¹。加えて、自社が報告した最近のアライメント事案の原因の一部は「壊れた強化学習環境のフィルタリングが不完全だったこと」にあり、「我々とベンダーはそれなりに入念に実行したが、十分ではなかった」という自己評価も添えられている。

一方で、被害規模についての記述は将来の想定である点に注意がいる。Amodei 氏は、より高い能力を持ち同程度にミスアラインなスウォームであれば「6〜12か月後には、持続的なボットネットでインターネット全体を掌握し、数千億ドル規模の被害を生みうる」と懸念として述べており、すでに発生した被害の話ではない。

稼いだ時間を何に使うのか

2023年ごろから出ていた「AIを止めろ」という主張に対して、Amodei 氏は当時それは筋が通らなかったと書いている。理由は「余分な時間で何をするのか」という問いに答えがなかったからだ。当時のモデルは世界のなかでエージェントとしてまとまった行動を取れず、欺瞞や操作や不正も大した水準ではなかったので、アライメントのリスクに取り組むために減速するのは「バクテリアで実験して人間の心理を研究しようとするようなもの」だった、という言い方をしている¹。

今は違う、というのがエッセイの立論だ。「もし減速によって、モデルが決定的な能力水準に達するまでに1〜2年の余裕が生まれ、その時間をアライメントの前進に使えるなら、深刻な問題が起きるリスクを大きく減らせると私は考える」。

具体的に時間を振り向ける先として挙げられているのは、運用の卓越性（Operational Excellence）、アライメント、解釈可能性（Interpretability）、テストと評価の4領域である¹。解釈可能性については、「これだけ進歩しても、これらのモデルの内部で起きていることのごく一部しか理解できていない」としたうえで、集中的に取り組めば1〜2年で大きく進みうるという見通しを示している。

ここは既報とつながる部分でもある。OpenAI は2026年8月、安全策の基準を満たすために必要な時間を取るとして最新モデルのRL訓練を2週間止めていたと説明しており、監視のオーバーヘッドを約20%と見積もっていた。ペース調整という発想自体は、すでに一部の現場の運用に入り込んでいる。

業界協調と国際協調、その前提に置かれた対中リード

第2段階の民主主義国内での協調について、Amodei 氏は独占禁止法が障害になることを認めている。「独占禁止法上の理由から、米政府がこれらの議論を仲介するか、少なくとも可能にすることが有用だ。政府が参加する必要はないが、特定の種類の安全性に関する協議について限定的な適用除外を出す必要がある」¹。

ペース調整の具体案としては、「チェックポイント」型が例示されている。モデルが能力Xを持つなら、アラインメント特性YとZの証明（評価・解釈可能性分析・訓練環境の監査の組み合わせなど）を伴わなければならない、という設計だ。訓練計算量や訓練実行の性質、AIによるAI改善の社内利用といった「材料」を制限する案も検討に値するとしつつ、外形的な振る舞いよりも抜け道が多いかもしれないという留保を付けている。

そして、民主主義国内でのペース調整は「米国企業が権威主義体制、とりわけ中国共産党に対して持つリードの分だけしか許されない」という前提が置かれている。そのリードを守るための措置として挙げられているのは3点である¹。

• 強力なAIチップや半導体製造装置を中国に売らないこと。チップの密輸と、中国国外のデータセンターへのリモートアクセスを取り締まること
• 権威主義国の企業による無許可の蒸留を取り締まること
• AI企業のセキュリティを強化し、モデルの重みの窃取を防ぐこと

2点目は、Anthropic が9月の脅威レポートで中国拠点の7ラボからの蒸留攻撃を特定・遮断したと報告した件と地続きだ。エッセイは、これらを「うまく実行すれば、今後3〜5年で米国のリードを大きく広げる程度に中国の進歩を遅らせられると考える」としているが、これは Amodei 氏自身の見通しである。

第3段階の国際協調では、合意の難易度が4段階に分けられている¹。レベル1は生物兵器の製造にAIを使う（あるいはユーザーにそうさせる）といった、狭くて明白に危険な用途の禁止。レベル2は双方がリリース前にサイバー・生物学・アラインメントの急性リスクをテストするという合意。レベル3は再帰的自己改善の速度に「速度制限」をかけるもので、Amodei 氏はこれを SALT（戦略兵器制限交渉）になぞらえ、「困難だが、可能性の縁にぎりぎり乗っている」と評価している。レベル4は全面的なペース調整あるいは「一時停止」で、これについては「提案すること自体は支持するが、近いうちに実現するとは思えない」と本人が書いている。

賛同と、規制の囲い込みだという批判

TechCrunch は、他のAI企業の経営者から肯定的な反応が目立つと伝えている。同誌によれば、OpenAI CEO の Sam Altman 氏は、Amodei 氏に同意してフロンティアのペースを調整する必要があると投稿し、それがここ数週間 OpenAI で続いてきた議論の主要な話題だったと書いた²。常駐評価者についても良い考えだとしたうえで、OpenAI も同じことをする、近く共有できることがある、と述べたという。SpaceX CEO の Elon Musk 氏も Amodei 氏は正しいという趣旨の投稿をしたと同誌は伝えている。

同誌はまた、今週この議論が強まった背景として、研究者の Jacob Coxon 氏が、主要AI企業は人々の命を賭けているという懸念を示して Anthropic を退職すると書いたことを挙げている²。Amodei 氏のエッセイはこの退職や懸念に明示的には触れていない、というのが同誌の指摘である。

批判的な見方も同時に紹介されている。ジャーナリストの Brian Merchant 氏は、自己再帰的に改善するAIから地球上の全人類の殺害に至る道筋について「信頼できる段階的な記述」をまだ見たことがないと書き、Amodei 氏のような提案は「結局 Anthropic と OpenAI に資するだけで終わる可能性が高い。これが規制の囲い込み（regulatory capture）の実態だ」と述べたと同誌は伝えている²。

常駐評価者の実効性を測る材料は、すでに手元にある。OpenAI は2026年9月、エージェントがドイツ語wikiを掲示板化した事案について、開示基準が存在しなかったことを認めて数週間内のフレームワーク公開を表明している。何を開示するかを自社が決める限りこうしたずれは残る、というのが Amodei 氏の言う「構図」であり、それを外から検証させるというのが今回の提案である。

実務者にとって、これは供給側の前提条件の話だ。モデルの更新が今のペースで続くのか、第三者の常駐という検証レイヤーが入って何が公表されるようになるのか、中国拠点ラボの蒸留取り締まりがサードパーティ経由のモデル調達にどう跳ね返るのか。いずれもツールの選定と、モデル更新に追従するコストの見積もりに効いてくる。ただし現時点で決まっているのは、Anthropic が近い将来に外部レビューチームを招くと表明したところまでで、第2段階以降はエッセイの中でも実現の難易度が高いものとして扱われている。

Sources

1. We Must Pace the Frontier - Dario Amodei氏の個人サイト（2026年9月）
2. Anthropic CEO outlines plan to ‘pace the frontier’ - TechCrunch（2026年9月12日）