AIベンチマークとは？「MMLU 90%」などモデル比較の数字の読み方

新しいAIモデルが発表されるたびに、「MMLUで88%を達成」「SWE-benchで前モデルを上回った」といった数字が並びます。こうした ベンチマーク（benchmark、性能評価の基準） のスコアは、モデルの優劣を語るときの共通言語になっています。けれども、その数字が実際に何を測っていて、どこまで信じてよいのかは、意外と説明されません。

ベンチマークの読み方を知らないまま発表スコアだけを追うと、「数字が高い＝自社の業務でも優秀」と早合点しかねません。実際には、スコアが実力以上に膨らむ落とし穴も存在します。この記事では、AIベンチマークとは何かを、代表的なベンチマークの中身と、スコアを鵜呑みにできない理由とともに、意思決定者の視点で整理します。大規模言語モデル（LLM）や推論モデルのニュースを正しく読むための土台になる記事です。

なぜベンチマークが必要か

「このAIは賢い」と言うとき、その賢さをどう測ればよいでしょうか。人によって感想がバラバラでは、モデルAとモデルBのどちらが優れているのか比べられません。そこで、全モデルに同じ問題を解かせ、同じ基準で採点する 共通テストが必要になります。それがベンチマークです。

Wikipediaは言語モデルのベンチマークを「さまざまな自然言語処理タスクにおける言語モデルの性能を評価するために設計された、標準化されたテスト」¹と定義しています。学校の共通テストや、自動車の燃費試験のように、条件をそろえて横並びで比べるための物差し——それがAIにおけるベンチマークの役割です。

ベンチマークは何でできているか

ベンチマークは、大きく2つの部品からできています。Wikipediaは「データセットと、それに対応する評価指標」¹からなると説明します。データセットは「テキストの例とアノテーション（正解の注釈）」を提供し、評価指標は「質問への回答、テキスト分類、機械翻訳といったタスクでのモデルの性能を測る」¹ものです。

採点方法（評価指標）は、タスクによって異なります。多肢選択式の問題なら 正答率（accuracy） が基本です。一方、プログラミングのように「複数回試して1回でも正解すればよい」場面では pass@n という指標が使われます。Wikipediaは「モデルは各問題にn回挑戦できる。いずれかの試行が正解すれば1点を得る」¹と説明します。同じ「スコア」でも、何回挑戦した結果なのかで意味が変わる点には注意が必要です。

代表的なベンチマーク：何を測っているのか

ベンチマークは数百種類ありますが、ニュースで頻繁に登場するものは「知識・推論を測るもの」と「コーディングを測るもの」に大別できます。代表例を見てみましょう。

ベンチマーク	測るもの	規模¹	何を問うか
MMLU	幅広い学術知識	16,000問・57科目	数学・歴史・法律・医学など²
GPQA	大学院レベルの科学的推論	448問	生物・物理・化学の専門家級の難問³
SWE-bench	実務的なコーディング	2,294課題	GitHubの実際のバグ修正⁴
HumanEval	基礎的なコーディング	164問	Pythonの関数を書く¹
GSM8K	算数の文章題	8,500問	小学校レベルの多段階計算¹

知識と推論を測る：MMLU・GPQA

最もよく引用されるのが MMLU（Measuring Massive Multitask Language Understanding） です。2020年にHendricksらが発表したこのテストは「初等数学、米国史、コンピューターサイエンス、法律など57のタスク」²を横断し、幅広い知識と問題解決能力を要求します。発表当時、論文は「最近のほとんどのモデルはほぼ当てずっぽうに近い正答率だが、最大のGPT-3モデルは平均でほぼ20ポイント、偶然を上回った」²と報告しました。つまり登場時には難問だったのですが、その後モデルの進化で各社が高得点を取るようになっていきます。

より新しく、より難しいのが GPQA（Graduate-Level Google-Proof Q&A） です。2023年に発表されたこのベンチマークは「生物・物理・化学の領域専門家が作成した448問の多肢選択問題」³で構成されます。特徴は「Google-proof（グーグル検索耐性）」をうたう点です。論文によれば、博士号を持つ専門家でも正答率は65%（後から明らかな誤りを除くと74%）にとどまり、一方で熟練した非専門家は「平均30分以上ウェブを自由に使っても34%しか正答できない」³とされます。検索しても歯が立たない難問を集めることで、AIが本当に深い推論をできるのかを測ろうとしているのです。

コーディングを測る：SWE-bench

開発現場での実力を測るのが SWE-bench です。2023年に発表されたこのベンチマークは「12の人気Pythonリポジトリから集めた2,294件のソフトウェア工学の課題」⁴を用い、GitHubの実際のissue（バグ報告や機能要望）をAIに解かせます。クイズではなく、複数の関数・クラス・ファイルにまたがる変更を理解し、実行環境とやりとりしながら現実のコードを直せるかを問う、骨太なテストです。

注目すべきは、発表当時の成績です。論文は「最も成績の良いモデルであるClaude 2でさえ、わずか1.96%の課題しか解けない」⁴と報告しました。当時の最先端モデルでも、現実の開発課題はほとんど解けなかったのです。この極端な低スコアは、裏を返せば「伸びしろの大きい、ごまかしの効きにくいベンチマーク」であることを意味し、その後のAIコーディング能力の進歩を測る重要な物差しになっていきました。

スコアを鵜呑みにできない3つの理由

ベンチマークは便利ですが、発表されたスコアをそのまま「実力」と受け取るのは危険です。意思決定者として知っておきたい落とし穴が3つあります。

1. 飽和（サチュレーション）

ひとつ目は飽和です。Wikipediaは「多くのモデルが現実的に可能な最高水準の性能に達してしまい、ベンチマークがそれらのモデルをもはや区別できなくなる」¹状態と説明します。難問だったテストも、各社が95%、98%と取るようになれば、1ポイント差にほとんど意味はなくなります。実際、かつて標準だったGLUEというベンチマークは飽和し、より難しいSuperGLUEが作られました¹。「ほぼ満点」のベンチマークでの数ポイント差を競う宣伝には、慎重に向き合う必要があります。

2. データ汚染（コンタミネーション）

ふたつ目が、最も注意すべき データ汚染 です。Wikipediaは、これを「テストセットでの学習（training on the test set）」とも呼び、「ベンチマークの問題の答えが、すでに訓練データの中に含まれている」¹場合に起きると説明します。AIは事前学習で大量のウェブ文書を読み込むため、ベンチマークの問題と答えがその中に紛れ込んでいると、AIは「推論で解いた」のではなく「答えを覚えていた」だけになります。

ベンチマーク汚染を扱った研究は、これを「評価用データがモデルの訓練・微調整データに混入し、本来は伏せておくべきテストへの過剰適合を招いて、テストの妥当性を損なう」⁵現象だと整理しています。結果として、スコアは実力以上に水増しされます。一部のベンチマークは、汚染した文書を見つけて除外するための「カナリア文字列」と呼ばれる目印を仕込むなどの対策を取っています¹が、汚染を完全に防ぐのは難しいのが現状です。発表スコアが高くても、それが「考える力」なのか「丸暗記」なのかは、数字だけからは見分けられません。

3. ベンチマークが測れていないもの

3つ目は、より根本的な問題です。ベンチマークは特定の能力を切り取って測るものであり、現実の業務に必要なすべてを反映するわけではありません。MMLUの原論文ですら、モデルは「自分が間違っているときに、それに気づけないことが多い」²と指摘しています。高得点でも、自信満々に誤るハルシネーションの傾向や、応答の安全性、自社データとの相性などは、別途確かめる必要があります。テストの点数が高い人が必ずしも仕事で成果を出すとは限らないのと同じ構図です。

賢いベンチマークの読み方

ここまでを踏まえると、ベンチマークスコアとの付き合い方が見えてきます。大切なのは、数字を「無視する」ことでも「絶対視する」ことでもなく、何を測ったテストのスコアなのかを意識して読む ことです。

実務の視点では、次のような問いを持つと判断を誤りにくくなります。そのベンチマークは自社の用途（知識質問なのか、コーディングなのか）に近いか。スコアはすでに飽和していて差がほとんどないのか、それともSWE-benchのように伸びしろのある領域なのか。そして最終的には、公開ベンチマークの順位だけで決めず、自社の実データやタスクで試す——いわば「自分たちの問題集」で小さくテストすることが、最も確実な評価になります。

新しいモデルの華々しいスコアは、進歩の方向を知る重要な手がかりです。ただし、それは横並び比較のための物差しの一つであって、自社にとっての価値そのものではありません。ベンチマークの仕組みと限界を知ったうえでニュースを読めば、数字に振り回されずに技術の進歩を見極められるようになります。モデルの中身をさらに知りたい方は、スコアを押し上げてきた推論モデルの仕組みや、モデルの大きさを表すパラメータ数とあわせて読むと、性能をめぐる議論の解像度が上がります。