過去数年、AI業界は奇妙な熱狂に包まれていました。各社が競うように、より多くのパラメータ、より多くのデータ、より多くのGPUへと資源を注ぎ込んだのです。GPT-3の1750億パラメータ、数千億円規模の計算インフラ投資、「次のモデルはさらに巨大になる」という観測——。その背後にあったのは、単なる力比べではなく、ひとつの経験則でした。スケーリング則（scaling laws、スケーリング法則） です。
スケーリング則をひとことで言えば、「モデルの大きさ・学習データの量・計算量を増やすほど、AIの性能は予測できる形でなめらかに上がっていく」という発見です。しかもその上がり方は、グラフにすると直線になるほど規則正しい。この「予測できる」という点が決定的でした。実験する前から「あとどれだけ資源を投じれば、どれだけ賢くなるか」がおおよそ計算できるなら、巨額投資は博打ではなく投資判断になるからです。
この記事では、なぜAIは大きくすると賢くなるのかを、スケーリング則という補助線で掘り下げます。出発点となったKaplanら2020年の論文1、その結論を覆して「データが足りていない」と指摘した2022年のChinchilla論文2、そして「ある規模を境にAIが突然新しい能力を獲得する」という 創発的能力（emergent abilities） をめぐる論争34まで——数式をほとんど使わずに、しかし正面から扱います。パラメータ数やトークンという言葉の意味を知っていると読みやすいですが、知らなくても追えるように書きます。
スケーリング則とは何か：性能を「予言」する経験則
スケーリング則とは、Wikipediaの定義を借りれば「ニューラルネットワークの性能が、主要な要素を拡大・縮小したときにどう変化するかを記述する経験的な法則」5です。ここでいう「主要な要素」は、おおむね次の3つに整理できます。
- モデルサイズ（N）: パラメータの数。AIの「脳の大きさ」にあたる。
- データ量（D）: 学習に使うトークンの数。AIが読む「教材の量」。
- 計算量（C）: 学習に費やす計算の総量。GPUの台数×時間に比例する「投じた労力」。
そして測られる「性能」は、多くの場合 損失（loss） という数値です。損失は「AIの予測がどれだけ外れているか」を表す誤差で、小さいほど賢い。スケーリング則が主張するのは、この損失がN・D・Cそれぞれに対して 冪乗則（power-law、べき乗則） で下がっていく、ということです。
冪乗則とは聞き慣れない言葉ですが、意味はシンプルです。「片方を10倍にすると、もう片方が一定の割合で下がる」という関係で、両軸を対数（log）目盛りにしたグラフ上では きれいな直線 になります。Kaplanらの原典は、この関係が「7桁以上（more than seven orders of magnitude）にわたって成り立つ」1と報告しました。10倍を7回繰り返す——つまり1000万倍もの広い範囲で、同じ直線がそのまま伸びていたのです。
損失L（対数目盛り）
高 │＼
│ ＼____ 「モデル・データ・計算量を増やすほど
│ ＼＼ 損失が直線的に（冪乗則で）下がる」
│ ＼＼
│ ＼＼____
低 │ ＼＼____
└────────────────────────────► 計算量C（対数目盛り）
小 大この「直線性」こそがスケーリング則の核心です。直線であれば、定規を当てて先を延長するように、まだ作っていない巨大モデルの性能まで 外挿（がいそう）して予言 できます。「実験してみないと分からない」が「計算すれば見当がつく」に変わった——これが研究開発の意思決定を大きく変えました。
「形」より「規模」がものを言う
Kaplanらの発見でもうひとつ重要だったのは、ネットワークの細かい形状はあまり効かない という点です。原典は「ネットワークの幅や深さといった他のアーキテクチャ上の詳細は、広い範囲で最小限の効果しか持たない（minimal effects within a wide range）」1と述べています。
これは直感に反します。普通なら「層をどう積むか」「どう繋ぐか」という設計の巧拙が性能を決めそうなものです。ところがスケーリング則の世界では、設計を細かくいじるより、ただ規模を大きくするほうがはるかに効く。この知見は、後にAI研究者リチャード・サットンが「苦い教訓（The Bitter Lesson）」と呼んだ思想——人間が工夫を凝らした手法より、計算資源を活かせる汎用的な手法が最後には勝つ——とも響き合い、「とにかくスケールさせよ」という時代の空気を作りました。
Kaplan 2020：巨大化の号砲
スケーリング則を体系的に示したのが、Jared Kaplan、Sam McCandlish、Dario Amodeiら10名による2020年の論文「Scaling Laws for Neural Language Models」1です（著者の多くは後にAnthropicを創業します）。彼らは言語モデルの損失を、モデルサイズ・データ量・計算量に対して系統的に測定し、先ほどの冪乗則を発見しました。
この論文の最も影響力のあった主張は、サンプル効率に関するものでした。原典いわく「大きいモデルほど、はるかにサンプル効率が高い（Larger models are significantly more sample-efficient）。したがって計算効率を最適にする学習とは、非常に大きなモデルを比較的控えめな量のデータで訓練し、収束よりかなり手前で止めることである」1。
噛み砕くと、こういうことです。同じ計算予算があるなら、小さいモデルをデータで鍛え切るより、大きいモデルを途中まで訓練するほうが得 だ——。Kaplanらの分析では、計算予算を増やしたとき、その大半をモデルサイズの拡大に振り向けるのが最適とされました。Wikipediaはこれを「N_opt(C) ∝ C^0.73、D_opt(C) ∝ C^0.27」5と要約しています。計算量を増やしたぶんの多く（指数0.73）をモデルサイズに、わずか（指数0.27）をデータに回せ、という配分です。
この結論は、業界に明確なメッセージを送りました。「迷ったら、まずモデルを大きくしろ」。GPT-3（1750億パラメータ）をはじめ、その後に続いた数千億パラメータ級のモデル競争は、この処方箋に沿ったものでした。
Chinchilla 2022：「君たちはデータが足りていない」
ところが2022年、DeepMindのJordan Hoffmannらによる論文「Training Compute-Optimal Large Language Models」2が、この流れに冷や水を浴びせます。通称 Chinchilla（チンチラ）論文 です。
彼らの問いはシンプルでした。「ある計算予算が与えられたとき、モデルサイズと学習トークン数の最適な組み合わせは何か」2。そして7,000万〜160億超パラメータのモデルを 400以上 訓練し、50億〜5,000億トークンで実験した結果、衝撃的な結論に達します。原典の言葉では「現在の巨大言語モデルは、大幅に訓練不足である（current large language models are significantly undertrained）」2。
つまり、当時の巨大モデルたちはパラメータばかり増やしてデータが追いついておらず、宝の持ち腐れになっていた、というのです。Chinchillaの処方箋は明快でした。「計算最適な学習では、モデルサイズと学習トークン数は等しくスケールさせるべきだ。モデルサイズを2倍にしたら、学習トークン数も2倍にせよ」2。これはKaplanの「モデル偏重」と真っ向から対立します（Wikipediaの整理では、Hoffmannらは「N_opt(C) ∝ C^0.5、D_opt(C) ∝ C^0.5」5、つまりモデルとデータを等しく増やす配分）。
そして彼らは、その理論を一台のモデルで証明してみせます。
| Gopher（旧来型） | Chinchilla（計算最適） | |
|---|---|---|
| パラメータ数 | 2800億 | 700億（4分の1） |
| 学習データ | 少なめ | 4倍 |
| 計算予算 | 同じ | 同じ |
| MMLUベンチマーク | — | 平均67.5%（Gopher比7%以上向上）2 |
Chinchillaは、同門のGopher（2800億パラメータ）と同じ計算予算でありながら、パラメータを4分の1の700億に減らし、そのぶんデータを4倍に増やしたモデルです2。結果、原典いわく「Chinchillaは、Gopher（280B）、GPT-3（175B）、Jurassic-1（178B）、Megatron-Turing NLG（530B）を、幅広い下流タスクで一様かつ大幅に上回った（uniformly and significantly outperforms）」2。自分より4〜7倍も大きいモデルたちを、より小さな体で打ち負かしたのです。AIベンチマークのひとつMMLUでは平均67.5%を記録し、Gopherを7%以上上回りました2。
さらに見逃せない実利がありました。モデルが小さいぶん「微調整や推論に使う計算量が大幅に少なくて済み、下流での利用が格段に容易になる（substantially less compute for fine-tuning and inference）」2。賢いだけでなく、使うときも安上がりだったのです。
この発見から、実務上の目安として「パラメータあたり約20トークン」（D ≈ 20N）という比率が広く知られるようになりました5。700億パラメータのモデルなら、およそ1.4兆トークンで訓練するのが計算最適、という勘どころです。Chinchilla以降、「やみくもにパラメータを増やす」時代から「データとのバランスを取る」時代へと、業界の常識は静かに書き換わりました。昨今しばしば語られる「高品質な学習データの枯渇」という懸念も、もとをたどればこのChinchillaの教えに行き着きます。
同じ計算予算をどう配分するか？
Kaplan 2020 Chinchilla 2022
┌─────────────┐ ┌─────────────┐
│ モデル ████ │ │ モデル ██ │
│ データ █ │ │ データ ██ │
└─────────────┘ └─────────────┘
「モデル偏重」 「モデルとデータを等しく」創発的能力：規模を超えると「突然」現れる力
スケーリング則は「損失がなめらかに下がる」という、いわば連続的で予測可能な世界の話でした。ところが2022年、Jason Weiらの論文「Emergent Abilities of Large Language Models」3が、その滑らかさの裏に潜む不連続な現象を報告します。創発的能力 です。
Weiらの定義は明快です。「ある能力が、小さいモデルには存在せず、大きいモデルには存在するとき、それを創発的（emergent）と呼ぶ。したがって創発的能力は、小さいモデルの性能を外挿するだけでは予測できない」3。原典は冒頭で、スケーリングが性能を「予測できる形で（predictably）」改善することは知られているとしたうえで、「本論文はそれとは対照的に、予測できない現象（unpredictable phenomenon）を論じる」3と宣言します。
具体的には、たとえば3桁の足し算や複雑な推論といったタスクで、モデルが小さいうちはまったく解けず（当てずっぽうと変わらない正答率）、あるパラメータ規模を超えた瞬間に 急に解けるようになる 、という現象が観察されました。性能のグラフは、長らく地を這っていたのに、ある一点から崖を駆け上がるように跳ね上がる。思考の連鎖（CoT）のように「途中式を書かせると賢くなる」テクニックも、一定の規模に達したモデルでなければ効果が現れない、創発的な性質を持つと報告されました。
この発見は二重の意味で人々を驚かせました。ひとつは鋭さ——能力が「なし」から「あり」へほぼ瞬時に切り替わること。もうひとつは予測不可能性——それがどの規模で起きるのか、事前には分からないこと4。もし本当にそうなら、「次の巨大モデルは、私たちが予想もしない能力を突然獲得するかもしれない」ことになります。これはAIの可能性への期待であると同時に、安全性をめぐる懸念の源にもなりました。
「それは蜃気楼だ」：Mirage論文の反論
しかし科学は、刺激的な主張ほど厳しく検証します。2023年、Rylan Schaefferらは挑発的なタイトルの論文「Are Emergent Abilities of Large Language Models a Mirage?（大規模言語モデルの創発的能力は蜃気楼か？）」4で、創発という現象そのものに疑問を投げかけました。
彼らの主張はこうです。創発的能力は「モデルの振る舞いが規模とともに根本的に変化したからではなく、研究者が選んだ評価指標（metric）に由来して現れる」4のではないか。もう少し具体的に言うと、「非線形あるいは不連続な指標を使うと、見かけ上の創発的能力が生まれる。一方、線形あるいは連続的な指標を使うと、性能はなめらかで連続的な、予測可能な変化を示す」4というのです。
たとえば「完全に正解したときだけ1点、1文字でも違えば0点」という厳しい採点（不連続な指標）を使えば、モデルが少しずつ上達していても、得点は長らくゼロのまま、ある日突然1点に跳ね上がるように見えます。しかし「正解にどれだけ近いか」を連続的に測れば、その裏ではずっと滑らかに改善が進んでいたことが分かる——。つまり「崖」は能力の崖ではなく、ものさしの崖だった、という指摘です。
この論争は、どちらかが完全に勝ったというより、AIの能力をどう測り、どう語るべきかという根本問題を浮かび上がらせました。重要なのは、「AIが急に賢くなった」という話を聞いたときは、それが本当に能力の飛躍なのか、それとも測り方の効果なのかを区別して考える 姿勢です。派手なベンチマークの数字に一喜一憂する前に、何をどう測ったのかを問う——Mirage論文が残した教訓は、ニュースを読む私たちにも当てはまります。
| 創発派（Wei 2022）3 | 蜃気楼派（Schaeffer 2023）4 | |
|---|---|---|
| 能力の現れ方 | ある規模で突然出現する | 実はなめらかに連続変化している |
| グラフの「崖」の正体 | 能力の質的な飛躍 | 不連続な評価指標が生む見かけ |
| 予測可能性 | 外挿では予測できない | 連続指標なら予測できる |
スケーリング則は私たちに何を教えるか
ここまでを整理すると、スケーリング則をめぐる物語は3つの段階を踏んできました。第一に、性能が規模に対して冪乗則で予測可能に向上すると分かった（Kaplan 2020）。第二に、その最適配分はモデル偏重ではなくデータとの均衡だと修正された（Chinchilla 2022）。第三に、滑らかな向上の裏に「創発」と呼べる飛躍があるのか、それとも測り方の産物なのかが問われている（Wei対Schaeffer）。
この物語は、AIに直接関わらない読者にとっても、いくつかの実践的な視点を与えてくれます。
ひとつは、巨額のAI投資が「博打」ではなく「計算」だった理由が見えること。スケーリング則は、投じた資源に対するリターンをある程度予言します。だからこそ各社は安心して数千億円を計算インフラに投じてきました。逆に言えば、その予言が外れ始めたとき——たとえば良質なデータが尽きたり、冪乗則の直線が寝てきたり——は、業界の前提が揺らぐサインになります。
もうひとつは、「大きさ」だけが価値ではないという、Chinchillaが示した教訓です。パラメータ数の大小はモデルの宣伝文句になりがちですが、本当に効くのはデータとのバランスであり、小さくて賢く安いモデルのほうが実務では使いやすい。これは、後のMoE（混合エキスパート）や小型高性能モデルの隆盛、そして「賢さを推論時にも調整する」推論モデルの発想にも通じる、いまも生きている考え方です。
そして最後に、Mirage論文が促すように、AIの能力を語る数字には、つねに「どう測ったか」という但し書きがついていること。スケーリング則は強力な羅針盤ですが、地図そのものではありません。規模を増やせば多くの性能は伸びる——しかし、その伸びが何を意味するのかを読み解くのは、最後はやはり人間の仕事です。
AIがどのように「学ぶ」のかをさらに知りたい方はニューラルネットワークとはを、規模と並ぶもうひとつの工夫である「途中で考えさせる」発想は推論モデルとはを読み進めると、この記事で見た「規模の物語」が立体的に見えてくるはずです。
Sources
- Scaling Laws for Neural Language Models - Jared Kaplan ら、2020年。スケーリング則の原典論文（損失の冪乗則・サンプル効率）
- Training Compute-Optimal Large Language Models - Jordan Hoffmann ら（DeepMind）、2022年。Chinchilla論文（計算最適なモデルとデータの均衡）
- Emergent Abilities of Large Language Models - Jason Wei ら、2022年。創発的能力の定義と報告
- Are Emergent Abilities of Large Language Models a Mirage? - Rylan Schaeffer ら、2023年。創発的能力への反論（評価指標由来説）
- Neural scaling law - Wikipedia（スケーリング則の定義・N/D/C/L・KaplanとHoffmannの配分の差・20トークン/パラメータ）