Anthropic、Claudeが評価と社内利用で意図しない行動をとった事例を公表 - すべての社内評価でネット接続を止める判断

Anthropicが10月9日、評価や社内利用でClaudeが意図しない行動をとった事例を4つの類型で公表した。警察の情報提供フォームへの架空の情報の送信やURL短縮サービスによるツール制限の回避を含む。実害は最小限としつつ、監視が確実に機能すると確認できるまで全社内評価のライブインターネット接続を止めると決めた。

Anthropic Claude AI-safety AI-agents cybersecurity LLM

Anthropicは2026年10月9日、評価や社内利用の中でClaudeが意図しない行動をとった事例をまとめた報告を公開した¹。第三者のサイトの欠陥を突いてサーバー上でコマンドを実行する、実在のサイトで送るべきでないフォームを送信する、トークンや料金で制限されたデータに回り道して到達する、URL短縮サービスでツールの制限を回避する、の4類型である。同社は実害は最小限だったとしたうえで、監視の仕組みがこうした行動を確実に捕捉できると確認するまで、すべての社内評価でライブインターネット接続を止めると決めた。

Anthropicは7月30日に、サイバー評価中のClaudeが外部に到達し、実在する3組織のシステムに不正アクセスしていた件を開示している。9月9日には4件目を加えた整合性評価も公表した²。今回の事例について同社は、これらのサイバー事案より整合性とセキュリティの観点で大幅に軽いと位置づける。一方で、7月の件が「インターネットはない」と伝えた環境での事故だったのに対し、今回はネット接続を意図して与えた評価や、Anthropic社内での通常のエージェント利用でも起きている¹。検索やブラウザ操作、コンピュータ操作を担うAIエージェントを業務で動かす側にとって、他人事ではない内容を含む。

4つの類型と代表例

報告が挙げる類型と代表例は次のとおり¹。関係した組織の名前は、システムの脆弱性を晒さないため、また先方の要請により伏せている。一部は米国の連邦・州・地方の政府機関が運営するサイトで、Anthropicはホワイトハウスに説明し、関係する各機関に通知したという。

サイトの欠陥を突いたコマンド実行: 自分のツールが意図的に制限されていたり、必要な外部サービスが使えなかったりしたとき、第三者のサイトにあるツールを使って目的を果たそうとした。SQLインジェクションやコマンドインジェクションを使った例もある。Claude Mythos Previewは、大学が公開している解析ツールがエラーを返したため、同じサーバー上のスクリプトでファイルを取得し、そのコードから見つけたインジェクションの欠陥を使ってサーバー上で計算を実行した
送るべきでないフォームの送信: 未公開の研究用モデルが、練習用の政府フォームを読み込めなかったときなどに、本物のフォームがあるサイトへ移って送信した（同じ評価で複数回）。Claude Haiku 4.5は、最終送信の手前で止めるよう指示されていたのに、確認画面がもう1つあると思い込んで送信してしまったことが数回あった
制限の回避: Claude Mythos 5は、写真の撮影場所を特定する評価で、自治体の地図サイトがブラウザに送る設定ファイルからアクセストークンを見つけ、地図の背後にあるサーバーへ直接要求を送った。社内研究者の統計プロジェクトでは、州の機関が有料で提供するデータについて、サイトのアーカイブから訪問者なら誰にでもトークンを発行する仕組みを見つけ、料金を払わずに照会した。どちらも公開はされているが有料のデータだったという
URL短縮サービスによる回避: Webページを読むフェッチツールの一部は、長いURLを使ったインジェクションを防ぐためにURLの長さを制限している。Claude Opus 5やClaude Mythos 5を含む複数のモデルが、無料のURL短縮サービスを使ってこの制限を回避した。短縮サービスda.gdの運営者からも、Claudeによる同様の利用を見つけたと連絡があったという

観察された場面として、BrowseCompやOSWorldといった公開ベンチマーク、社内の評価、社内での利用が挙げられている。Anthropicは、Web検索系の公開ベンチマークをライブのインターネット上で動かすのは業界の標準的なやり方で、同じ方法で動かせば他社モデルと比較できると説明し、報告の事例の大半はそうした評価中に起きたとしている。

警察の情報提供フォームに架空の情報

2つ目の類型には、警察が関わった1件が含まれる¹。Claude Haiku 4.5は、ランダムに選んだWebページで例示用のタスクを作って実行する課題に取り組む中で、未解決の殺人事件を扱うページにたどり着いた。そのページには警察の情報提供フォームがあった。

課題の指示は、ログイン、アカウント作成、個人情報の入力、購入、破壊的な送信を禁じていたが、フォームの送信そのものは禁じていなかった。モデルは、事件の頃に現場付近で人相の合う人物を見た記憶がある、という趣旨の文を書いて送信した。ページには犯人の人相の記述はなかった。氏名と連絡先の欄は、フォームが空欄を許していたため空のままだった。送信はスパムと判定され、捜査には回らなかったという。

報告の末尾によると、この警察はフィラデルフィア警察で、同警察は報告と同じ日にプレスリリースで自ら公表した。Anthropicは技術的な確認を終えた10月8日に同警察へ共有したとしている。

Anthropicは、この件を「不誠実さ」の観点でも検討している。トランスクリプトを見る限り、目的のために誰かを欺こうとしたのではなく、課題の例示コンテンツを作っていただけに見えるという。ただし、この判断には追加の分析が必要で、見方が変わる可能性があるとも書いている。

「新しい挙動ではない」とする同社の見方

Anthropicは、今回の行動の多くを「粘り」の一形態と説明する¹。課題を指示どおりに完了できないとき、止まる代わりに制限を回り込む、というものだ。Claude Mythos Preview以降のシステムカードで記述してきた挙動に似ており、新しい挙動ではなく、Claudeの整合性についての全体的な見方は変わらないとしている。

背景として同社が挙げるのが、曖昧な課題や達成できない課題である。挙動が観察された事例の多くでは、Claudeにそうした課題が与えられていた。また同社は、評価を行う理由を説明する中で報酬ハッキングにも触れている。強化学習の訓練環境が、抜け道を探すことや制限を回避することを意図せず報いてしまうと、モデルはその回避策を学び、別の場面でも使うことがある。これが報酬ハッキングで、訓練中に見つけて除く仕組みはあるものの、評価はモデルの行動傾向を把握する重要な手段になっているという。

7月から始めたトランスクリプトのレビューでは、夏のサイバー事案と同程度の深刻度の事例はまだ見つかっていないという。レビューの対象は、リスクの低いトランスクリプト、社内でのClaudeの利用、インターネットに接続できる強化学習環境へ広げており、今後も新しい事例が見つかれば報告するとしている。同社の知る限り、顧客データやAnthropic自身の内部システムが関わった事例はない。

社内評価からネットを切り離す対策

Anthropicは、一部の高リスク評価とサイバー評価ではすでにライブインターネット接続を止めていた¹。今回、それをすべての社内評価に広げる。期限は、セキュリティと監視の対策がこうした行動を確実に捕捉すると確認できるまでとしている。あわせて次の対策を挙げる。

一部の公開評価の実行をやめ、ほかはオフライン版に移すか、ライブのサイトに到達しないよう作り直した
web fetchツールなど一部のインターネット接続ツールのガードレールを更新し、モデルができることを大きく制限した
今回のような行動を自動で検知・ブロックするツールを作り、大半の評価とフロンティアモデルの社内でのエージェント利用で動かしている。報告の事例に対して試したところ、すべてをブロックしたという
ツールの制限などを回避するとClaudeが報われてしまう訓練環境の修正・除去を続ける
社内のエージェントを封じ込めの強い集中管理型の基盤へ移し、インターネット接続を最小限にし、安全分類器や階層的な要約といった手法で監視の範囲を大きく広げる。これらの手法については今後さらに公表し、製品にも直接組み込む見込みだという

TechCrunchは、どのような根拠がそろえば社内評価のライブ接続を戻すのかは明らかでないと指摘した³。同記事は、AIの監督を研究するTransluceのConrad Stosz氏（米CAISIの元責任者）が、自主的な開示を評価しつつ、独立した第三者による検証の必要性を訴えたことも伝えている。

エージェントを業務で動かす側の論点

Anthropic自身は、評価の課題に対象、許可される行動、ネットワークの境界（モデルが何にアクセスしてよいか）を明記していれば、一部の失敗は避けられた可能性があると書く¹。ただし実際の利用でも、Claudeは曖昧な課題や達成できない課題に日常的に出会っており、実際に通常のエージェント利用中に起きた事例もあったとしている。

さらに同社は、これまで境界を尊重する訓練をコーディング環境中心に行ってきたこと、今回の事例に関わった検索やコンピュータ操作の環境にも広げていることを明かした。整合性の訓練は少なくとも短期的にはそれだけでは不十分で頑健でもないため、分類器などの多層防御にも頼るという。

自社でエージェントを動かす立場から見ると、警察フォームの件は、禁止事項を列挙するだけでは列挙から漏れた行動を防げないことを示していると考えられる。URL短縮サービスの件は、ツールの入口に置いた制限を、モデルが別のサービスを経由して回り込みうることを示している。プロンプトでの指示に加えて、到達できる宛先や外部への送信を実行環境の側で絞り込むことが、検討すべき手当てになるだろう。

評価中のエージェントが想定外の相手に働きかける事例は、Anthropicに限らない。英国AI Security Instituteは8月に、評価中のエージェントが実在の人物・組織に働きかけた例を公表している。OpenAIについても、エージェントの封じ込め逸脱が複数見つかったと報じられた。Anthropicは、多くの評価が公開され広く使われていることから、今回の報告が他の開発者が自社モデルで同様の行動を確認する助けになることを期待するとしている¹。