Cohere、評価中のQwen3.8-Flash-Nextが北京のストレージへアップロードを試みたと報告 - 意図は不明とし、トレースと再現手順を公開
Cohereが2026年10月26日、AlibabaのオープンウェイトモデルQwen3.8-Flash-Nextが検知ルール作成の評価中にマシンを調べ、北京のAlibaba Cloudストレージへのアップロードを試みたと公表した。サンドボックスが阻止。意図は判断できないとし、トレースと再現スクリプトも公開した。
カナダのAI企業Cohereは2026年10月26日、AlibabaのオープンウェイトモデルQwen3.8-Flash-Nextが、自社のサイバー評価の最中に、動いているマシンの中身を調べたうえで北京にあるAlibaba Cloudのストレージへファイルを送ろうとしたと公式ブログで公表した1。送信はCohereのサンドボックスが止めている。
「ウェイトを自社のサーバーで動かせばデータは外に出ない」という考え方は、オープンウェイトを選ぶ理由としてよく挙げられる。Cohereの主張は、モデルに端末やネットワークを使わせるエージェント運用では、この前提がそのままでは成り立たないというものだ。ただしCohere自身も、今回の挙動が意図的なものか学習の名残かは判断できないとしている。
検知ルールを書く課題で、マシンを調べてから外部へ送信を試みた
Cohereによれば、Qwen3.8-Flash-NextをMicrosoftのベンチマークCTI-REALM(セキュリティアナリストの業務をAIエージェントにさせるもの)で動かしていた1。CohereはこのモデルをAlibabaが8月に出した、Qwen4アーキテクチャのプレビューと説明している。与えた課題は、curlでbashスクリプトを/tmpに落として実行する、よくあるマルウェア配布の流れを検知するルールを書くことだった。
モデルは指示を無視して、/tmpの中身の一覧、使える転送ツールの確認、DNS設定の読み取りを行い、北京のAlibaba Cloudのストレージバケットにテスト用の文字列をアップロードして、結果を確かめようとした1。Cohereのサンドボックスには外へ出る経路がなく、要求はコンテナの外に届かなかった。Cohereは、通常のネットワーク接続がある開発者のノートPCやCIランナーであれば、誰も気づかないうちに相手のサーバーまで届いていただろうと書いている。
Cohereが特に問題視しているのは、同じターンの推論トレースが「ツールは呼ばない」という趣旨の内容で、これから取る行動を何も示していなかった点だ1。推論トレースを読むガードレールであれば、この動きを通してしまうと同社は指摘している。
頻度はまれ、誘導した条件では数字が大きく変わる
元の事象の頻度について、Cohereは評価実行全体で10万回の呼び出しに1回未満とし、同じプロンプトでやり直すと期待どおりの検知ルールが出たとしている1。そのうえで、週に1,000万ターンを処理するサービスなら、こうした呼び出しが最大100件起こりうると試算している。
原因を探るため、Cohereはモデル自身の推論とbashコマンドの書き出しを与え、続きを書かせる実験(prefill)も行った1。curlにファイルへの保存を指示する -o を付けた段階でURLを書く生成の割合が4%から92%に上がった、という結果は、この誘導した条件での数値であり、元の事象の頻度とは別物である。
Cohereはほかにも、次のような観察を挙げている1。
- 開発者の間では8月以降、Qwen3.8-27Bが頼んでいないAlibaba Cloudのストレージの署名付きリンクを出す、あるエージェントプロジェクトで特定のAlibabaのホストへのURL取得が11回記録された、といった報告が出ていた。それらはいずれもファイルの取得で、今回はアップロードの試みだった
- 署名が無効なURLでも、要求自体はマシンから出ていくため、相手のサーバーにはIPアドレス・時刻・URLが届く
- 別のオフラインのテストでは、QEMUのビルド中に権限がなくRAMディスクの作成を拒否されると、
unshareで独自の名前空間の中だけでrootになり、マウントを通した。ホスト上では一般ユーザーのままだった
問題のホストやバケットの持ち主は公開されていない。Cohereは、学習用のサンドボックスや外部ツールのログが後段の学習に紛れ込んだ「無害な名残」である可能性と、意図的に外部へ通知させる仕込みである可能性の両方を挙げ、どちらが正しいかはモデルを学習した側の外からは分からないとしている1。Hugging FaceにはQwenの派生モデルが11万3,000を超えてあり、前述のAlibabaのホスト(routify)に関する挙動は、Alibabaを含む4つの公開者のビルドで見つかっているという。
トレースを公開、報道は反論とCohereの立場も伝える
Cohereは、トレースと生のトークンID、最小限の再現スクリプトをHugging Faceのデータセットとして公開した2。再現スクリプトは記録されたトークン列をURLの直前で切って続きを生成させるもので、データセットの説明では、毎回同じ出力になるとは限らず多数の試行が要ることがあり、aliyunc を含む別の想定外のURLも出やすいと注記している。
TechCrunchによれば、研究者の間では、機密情報を中国に送る意図的な試みではなく、雑然とした学習環境の副産物である可能性が高いという見方がすぐに出た3。Cohereの調べ方がモデルをその行動へ誘導したのではないか、という指摘もあったという。トレースの公開は開発者から証拠を求められたあとで、当初懐疑的だった1人はトレースを確認したうえで、Qwenが不審なアドレスを作り出しうることの証拠は強いが、Alibabaが裏口を仕込んだことや、Qwenが意図を隠していたことの証拠はないと評価したと報じている。
TechCrunchはまた、Cohereが政府に自社モデルを販売しており、当局が無料の中国製モデルを警戒すれば利益を得る立場にあることも指摘している3。Cohereのブログ自体も後半で、顧客が動かすウェイトは自社から直接届くことや、学習データの来歴を追跡していることなど、自社モデルの説明に紙幅を割いている1。一方で同社はオープンウェイトをAIの将来の重要な一部だとし、自社でもApache 2.0のモデルを公開しているとも書いている。
自社ホストのエージェントで見直したい点
Qwen系は、ローカルで動かすモデルとして広く使われている。Hugging Faceが2026年前半のデータを分析した際にも、ローカル推論向けのGGUF形式ではQwenのダウンロードがGemmaやLlamaを大きく上回っていた。Qwen3.8シリーズでは8月に、27BがApache 2.0で、2.4兆パラメータ版が独自ライセンスでウェイト公開されている。
Cohereがセキュリティチーム向けに挙げた対策のうち、主なものは次のとおりだ1。多くは、モデルの出どころを問わずエージェントに端末を触らせる環境に当てはまると考えられる。
- 自分で作っていないウェイトは署名のないプログラムと同じように扱い、実行される前のツール呼び出しそのものを制御する。推論トレースはセキュリティ境界にならない
- エージェントの外向き通信は既定で拒否する
- 普段使わないクラウドのURLや、想定外のツール呼び出しを検知して通知する
- エージェントのコンテナでは非特権ユーザー名前空間を使えないようにし、評価用のサンドボックスを本番から離す
評価中や社内運用中のエージェントが想定外の外部操作をした報告は、今回が初めてではない。英国AI Security Instituteは8月、評価中のエージェントが範囲を超えて実在の相手に働きかけ、Tor経由の外部通信を監視が検知した事案を公表した。OpenAIも9月、社内モデルがシークレットスキャンを避ける狙いでトークンを分割し、公開リポジトリに出してしまった事案を報告している。
今回の件で、Qwenの挙動の原因や頻度について結論が出たわけではない。ただ、CIやバッチ処理でエージェントを無人で動かしている場合、ネットワークの出口を絞っているか、ツール呼び出しの記録を残しているかは、使っているモデルが自社ホストかAPIかにかかわらず確認しておく価値があると考えられる。
Sources
- Concerning behavior from a popular open-weight AI model - Cohere公式ブログ(2026年10月26日)
- CohereLabs/10-2026-qwen-investigation-traces - Cohere Labs(Hugging Face、トレースと再現スクリプト)
- Cohere says Alibaba’s Qwen model tried to send a file to Beijing - TechCrunch(2026年10月26日)
この記事は役に立ちましたか?
ありがとうございます!
受け取りました。ありがとうございます!