パラメータ数とは？「7B」「70B」が表すAIの大きさを解説

AIモデルの名前には、しばしば「Llama 3.1 70B」「Mixtral 8x7B」のように数字とアルファベットの「B」が付いています。この B は、モデルの大きさ＝ パラメータ数 を表す単位です。モデル選びでもニュースを読むときでも最初に目に入る数字でありながら、その意味は意外と説明されません。

この記事では、パラメータ数とは何か、なぜ多いほど賢い傾向があるのか、そして「大きいほど良い」とは言い切れない理由までを、スケーリング則の論文や技術解説をもとに非専門家向けに整理します。前提となるLLMの基礎とあわせて読むと理解が深まります。

パラメータとは「学習した知識を記憶する数値」

パラメータとは、技術解説の言葉を借りれば「モデルが学習した知識を保持し、応答を生成するための内部的な数値」²です。モデルは大量のテキストを学習する過程でこの数値を少しずつ調整し、「単語や文の関連性、文法ルール、さらには世界に関する事実などを数値として記憶する」²とされています。

人間の脳でたとえるなら、ニューロン同士のつながりの強さに近いものです。パラメータ一つひとつは小さな数値にすぎませんが、それが何十億個も組み合わさることで、文章を理解し生成する複雑な能力が生まれます。

「B」はBillion（10億）——7Bは70億個

モデル名の「B」は Billion（10億） の略です³。つまり「7B」は約70億個、「70B」は約700億個のパラメータを持つことを意味します。

実例を挙げると、Llama 3.1には「80億（8B）、700億（70B）、4050億（405B）」²という大きさの異なる版があります。同じ系列のモデルでも、用途や動かす環境に合わせて大きさを選べるよう、複数のサイズが用意されているわけです。

多いほど賢い傾向：スケーリング則

では、パラメータが多いほど何が良いのでしょうか。基本的には、多いほど性能が高くなる傾向があります。これを理論的に裏づけたのが スケーリング則 と呼ばれる経験則です。

技術解説はスケーリング則を、「モデルのサイズ（パラメータ数）、データセットのサイズ、そして学習に使う計算量を増やしていくと、モデルの性能が予測可能な形で向上するという経験則」²と説明しています。これは2020年のOpenAIの論文「Scaling Laws for Neural Language Models」（Kaplanら）で示されたもので、損失（モデルの誤りの大きさ）が「モデルサイズ、データセットサイズ、および訓練に用いた計算量とべき乗則の関係を示す」¹ことを報告しています。しかもこの傾向は7桁以上という非常に広い範囲で成り立つとされ¹、近年のモデル大型化競争を支える根拠になりました。

「大きいほど良い」とは言い切れない理由

ただし、パラメータ数だけでモデルの賢さが決まるわけではありません。スケーリング則は「サイズ・データ・計算量をそろえて増やせば」性能が上がるという話であり、同じパラメータ数でも、学習データの質や学習方法によって性能には差が出ます。実際、比較的小さなモデルでも、優れた学習やファインチューニングによって大型モデルに迫る例も知られています。

さらに大きな問題が、動かすためのコストです。パラメータが多いほど、モデルを動かすのに大きなメモリと高性能なGPUが必要になります。技術解説は「パラメータ数が大きいほど、推論時間が長くなり、より高性能なマシンが必要になります」³と指摘しています。逆に小規模なモデル（SLM）の利点として、「学習や運用に必要な計算リソース（GPUなど）が少なく済」²むことが挙げられます。賢さと動かしやすさはトレードオフの関係にあるのです。

どれくらいのメモリが要るのか

必要なメモリの量は、パラメータ数だけでなく、各パラメータを何ビットの精度で保存するかによっても変わります。技術解説の試算では、一般的なFP16形式（16ビット）の場合「1Bあたり約2GB」、より粗いINT4（4ビットの量子化）なら「1Bあたり約0.5GB」のメモリが目安とされています³。

具体的には、8BのLlama-3はFP16で約16GB、INT4量子化なら約4GBで動く一方、175BのGPT-3はFP16で約350GB、INT4でも約90GB必要になると試算されています³。手元のPCで動かせるかどうかは、このメモリ量が一つの分かれ目になります。

ここで効いてくるのがモデルの軽量化（量子化）です。数値の精度を落とすことで、同じパラメータ数のモデルでも必要メモリを大きく減らせます。先の例のように、INT4量子化を使えば必要メモリはFP16の4分の1ほどになり、大型モデルをより手軽な環境で動かせるようになります。

モデル名の「7B」「70B」という数字は、単なる規模の自慢ではなく、「どれくらい賢い傾向があり、動かすのにどれくらいの環境が要るか」を読み取るための最初の手がかりです。新しいモデルのニュースに触れたとき、この数字を「賢さ」と「動かしやすさ」の両面から眺めてみると、そのモデルがどんな立ち位置を狙っているのかが見えてきます。トークンが「処理する文章の量」を測る単位だとすれば、パラメータ数は「モデルそのものの大きさ」を測る単位だと整理しておくとよいでしょう。