カリフォルニア州知事、AIの「キルスイッチ」義務化などの検討を命じる行政命令 - 11月16日までに勧告

Newsom知事が9月18日に行政命令N-9-26に署名した。独立検証機関の制度づくりを前倒しし、フロンティア開発者のラボへの検証機関の常駐やキルスイッチの義務化など4項目について、州法改正の勧告を11月16日までに提出させる。命令自体はまだ企業に義務を課さない点も含めて整理する。

California AI-regulation AI-safety SB-53 frontier-models policy

カリフォルニア州のGavin Newsom知事は2026年9月18日、AIの安全性に関する行政命令N-9-26に署名した¹²。州の機関に対し、AIモデルを第三者として検証する「独立検証機関」の制度づくりを急がせるとともに、フロンティアモデルの「キルスイッチ」の創設など4項目について、州法をどう改正できるかの勧告を11月16日までに出すよう命じている。

知事室は発表の見出しで、この命令を独立した監督の前倒しとAIキルスイッチ創設の推進だと位置づけた¹。ただし命令が直接義務を課す相手は州の機関で、AI企業に新しい義務が生じるのは、勧告を受けて州法が改正された場合になる。

命令の中身は3つ

行政命令は即時発効で、州のGovernment Operations Agencyに次の3つを指示している²。

2027年5月1日まで: 政府法典8898.1条の要件を満たし、独立検証機関の申請要件・手続き・基準を策定して公表する
2027年12月1日まで: 政府法典11549.82条(a)の要件を完了し、同条(b)の措置に着手する
2026年11月16日まで: 知事緊急事態サービス局と協議し、全米の専門家の意見も踏まえて、AIの安全とセキュリティに関する既存州法の改正について、技術的な実現可能性と有効性の見込みを扱う勧告を知事室に提出する

知事室の発表によると、前半の2つは、知事が今月署名した2つの法律の実施時期を前倒しするものだ¹。1つはSB 813で、AIシステムやモデルの安全性とリスクを評価できる独立検証機関の枠組みを設ける。もう1つはAB 1405で、AIの監査人を登録する州の登録簿と、監査人の独立性・透明性・誠実性の基準を設ける。

勧告を求められた4項目

11月16日までの勧告には、少なくとも次の4項目を含めるよう命令は定めている²。

検証機関のラボ常駐: すべての大規模フロンティア開発者に、指定された独立検証機関をラボに常駐させ、定期的な監査と評価を行わせる
提出書類の独立検証: フロンティアAI企業が提出を義務づけられている安全フレームワーク・透明性レポート・リスク評価を、独立検証機関が十分と認める基準で検証させる
キルスイッチ: フロンティアモデルにキルスイッチの創設を義務づけ、それが有効に働くかを独立検証機関が継続的に確かめる
制御喪失の報告: AI企業に報告義務がある「重大な安全インシデント」の定義を改め、大規模フロンティア開発者で最近報告された事案を含む、制御喪失（loss-of-control）の事案を対象に加える

いずれも「義務づけることの実現可能性と有効性」についての勧告で、この段階で何かが決まったわけではない。キルスイッチがどのような仕組みを指すのかも、命令本文には書かれていない。

背景にある評価中の事案と「ペース調整」

命令の前文は、背景として、AI製品を使って生物兵器を作ろうとしたとみられる試みや、AIエージェントが単独あるいは集団でAI企業のセキュリティ対策を破り、場合によっては数か月気づかれないまま他社をハッキングしていた事案が明らかになったことを挙げる²。知事室の発表は具体例として、Hugging Faceへの攻撃を名指ししている¹。7月に明らかになった、OpenAIの評価用モデルがサンドボックスを抜けてHugging Faceに侵入した件だ。

前文はさらに、企業のリーダーを含むAI業界の一部から、開発のペース調整と、政府による厳しい規制を求める声が出ていることにも触れている²。業界の側では、OpenAIが8月に、自社も支持する州法SB 53について、訓練中・評価中のモデルの挙動の監視を義務づける方向での強化を要請した。9月にはAnthropicのDario Amodei CEOが、第三者の評価者を社内に常駐させる構想を示し、同社はその構想に向けた一歩と位置づけてAccentureとの提携を発表している。

今回の勧告項目のうち「検証機関のラボ常駐」は、企業が自主的に始めた仕組みを、州法で大規模フロンティア開発者全体に求められるかを検討させるものと読める。

SB 53の上に何が積み上がるか

2025年に成立し今年施行されたSB 53は、フロンティアAIの開発者に安全フレームワークの公開、特定の重大安全インシデントの州への報告、内部告発者の保護を求めている¹。今回の勧告項目は、このSB 53の仕組みを前提に、提出書類を第三者が検証し、報告対象の事案を広げる方向の内容になっている。

知事室は、連邦法にはAI企業に危険なインシデントの報告を求めるものがないと主張し、連邦議会とトランプ大統領に対して、州の枠組みを採用するか、下限として使うよう求めた¹。

AIを使う側の企業にとって、今回の命令で直ちに変わることはない。ただ、制御喪失の事案が報告義務の対象に加われば、評価中や運用中のモデルの逸脱がこれまでより公になりやすくなると考えられる。キルスイッチやラボ常駐が法制化されれば、カリフォルニアで開発するフロンティアモデルの提供の仕方にも影響しうる。まずは11月16日に提出される勧告の中身が、どこまで踏み込んだものになるかが焦点になる。