Cline、実世界のエンジニアリング課題に基づく新ベンチマーク「cline-bench」を発表

AIコーディングアシスタントの開発を行うClineは2025年11月20日、エージェント型AIコーディングのための新たなオープンソースベンチマーク「cline-bench」を発表しました¹。

このイニシアチブは、従来の合成的なプログラミングパズルではなく、実際のオープンソース開発における現実的なエンジニアリング課題に基づいた、再現性の高い強化学習環境を確立することを目的としています。同時に、実世界のタスクを提供するオープンソース貢献者を支援するために、100万ドル（約1.5億円）規模のスポンサーシッププログラムも公開されました。

既存ベンチマークの課題とcline-benchのアプローチ

現在のAIモデルは急速な進化を遂げていますが、その性能を測定するベンチマークには課題が残されています。多くのコーディングベンチマークは、LeetCodeのような自己完結型のパズルや、すでに飽和状態にあるタスクに依存しており、実際のソフトウェアエンジニアリングの複雑さを十分に反映できていないと指摘されています²³。

実際の開発現場では、曖昧な要件、不完全なコンテキスト、依存関係の解決、複数ステップの推論といった課題に直面します。OpenAIなどの研究機関も、「研究者はモデルが異なるドメインでどれだけうまく機能するかを測定するために厳格なフロンティア評価を使用する」とし、評価が曖昧な目標を具体的かつ明確にする重要性を強調しています。

実世界の失敗から学ぶ

cline-benchは、実際のオープンソースプロジェクトにおける作業からタスクを抽出することで、この課題に取り組みます。具体的には、Cline Providerを使用している際に、モデルが手動介入を必要としたり、完了できなかった「困難なタスク」を候補として収集します。

これらのタスクは、実際のエンジニアリングの制約を捉えた研究グレードの環境としてパッケージ化されます。各環境には以下の要素が含まれます：

開始スナップショット: 実際のエンジニアリングタスクを開始した時点のGitコミットハッシュ
問題定義: 実際の開発シナリオに基づいたプロンプト
検証基準: 最終的にコミットされたコード（正解データ）に基づくテスト

環境の構築には、Terminal-Bench 2.0としても知られるHarborフレームワーク⁵や、Prime IntellectのEnvironments Hub⁶といった最新のオープンソース仕様が採用されています。

オープンソースコミュニティへの貢献

cline-benchの特徴の一つは、オープンソースリポジトリのみを対象としている点です。これは、ベンチマークが誰でも検査、再現、研究できるようにするためであり、プライベートリポジトリは対象外となっています。

100万ドルの支援プログラム

Clineは、質の高い実世界のタスクを提供する貢献者を支援するため、100万ドルのスポンサーシッププログラムを開始しました。選ばれた貢献者には「Cline Open Source Builder Credits」が提供され、オープンソースエコシステム全体の発展を後押しします。

この取り組みに対し、OpenAIのApplied Evals責任者であるShyamal Anadkat氏や、Nous ResearchのTeknium氏など、AI研究コミュニティからも賛同の声が寄せられています。彼らは、実際の開発者ワークフローに基づいた高品質で検証済みのコーディングタスクが、最先端モデルの評価と改善に不可欠であると述べています。