2024年10月、AnthropicはClaude 3.5 Sonnetのアップグレードとあわせて「computer use」機能をパブリックベータとして導入した1。AIが人間と同じようにコンピューター画面を認識し、マウスやキーボードの操作を通じてソフトウェアを動かせるようにする機能である。
Computer Use機能: 画面を見て操作する
computer useの中身は、画面を見て、カーソルを動かし、ボタンをクリックし、テキストを入力するというものだ1。専用のAPIを用意していないソフトウェアであっても、人間が使うのと同じインターフェースを経由して操作できる点が従来と異なる。
ただしAnthropicは発表時点で、この機能が「まだ実験的で、ときに扱いにくく、誤りを起こしやすい」と明言していた1。スクロール、ドラッグ、ズームのように人が難なくこなす操作が、当時のClaudeにとっては課題だとも説明している1。実用の水準に達した完成機能としてではなく、方向性を示す段階のリリースだったことになる。
こうした「AIが自分で環境を操作して作業を進める」形は、その後AIエージェントと呼ばれる領域の中心的なテーマになっていった。
コーディング性能の向上
同時に発表されたClaude 3.5 Sonnetのアップグレードでは、コーディングのベンチマークであるSWE-bench Verifiedのスコアが33.4%から49.0%に向上した1。
導入企業のコメントも公開されている。GitLabは、レイテンシの増加なしにユースケース全体で最大10%の推論能力の向上が見られたとし、Cognitionはコーディング・計画立案・問題解決での大幅な改善を挙げている1。いずれも新しいClaude 3.5 Sonnetモデル全般の性能に対する評価であり、computer use機能の導入事例として述べられたものではない点には注意が必要だ。
安全面の扱い
Anthropicは、computer useが「スパム、誤情報、詐欺といった既知の脅威に対する新たな経路になりうる」とリスクを明示していた1。対応として、computer useが使われているかどうか、および実害が生じているかどうかを識別できる新しい分類器を開発したと説明している1。
画面を操作できるということは、権限の範囲がそのまま被害の範囲になりうるということでもある。この論点は、その後エージェントに与える権限や停止手段の設計として、業界全体で扱われるようになった。
業務システムとの接続という観点
APIを持たない既存システムを画面経由で操作できるという性質は、社内に古いソフトウェアが残っている環境では意味を持つ可能性がある。生産管理や社内の各種システムのように、外部連携の口が用意されていない業務ソフトを、改修せずに自動化の対象にできる余地が生まれるためだ。
もっとも、発表時点の完成度はAnthropic自身が実験的と述べていた水準であり、基幹業務にそのまま載せられる段階ではなかった。実際にこの方向が実務で使えるようになるかどうかは、その後のモデルとツールの改良にかかっていた、というのが当時の状況である。
Sources
- Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku - Anthropic公式発表（2024年10月22日）