モデルの軽量化とは？蒸留と量子化の違いをやさしく解説

AIモデルは大きいほど賢くなる傾向があります。しかし、巨大なモデルは動かすのに高性能なサーバーと大量の電力を必要とし、応答にも時間がかかります。そこで重要になるのが、性能をできるだけ保ったままモデルを小さく・速くする 軽量化（モデル圧縮） の技術です。

軽量化の代表的な手法が 知識蒸留 と 量子化 の2つです。名前は難しそうですが、「賢い先生から小さな生徒へ知識を引き継ぐ」「数値の細かさをほどほどに落とす」と考えると、発想自体はシンプルです。この記事では、なぜ軽量化が必要なのか、知識蒸留と量子化はそれぞれ何をしているのか、そして両者をどう使い分けるのかを、原論文や解説をもとに非専門家向けに整理します。前提となるLLM（大規模言語モデル）とあわせて読むと理解が深まります。

なぜ軽量化が必要なのか

株式会社AXの解説は、軽量LLMを「性能を可能な限り維持しながら、モデルサイズや計算コストを削減したAIモデル」²と定義しています。

軽量化が求められる理由として、同解説は3つを挙げています²。1つ目は コスト削減 で、大きなモデルには高性能なGPUサーバーと大量の電力が必要ですが、軽量化によってインフラコストを大幅に抑えられます。2つ目は 応答速度 で、モデルが軽量なほど反応が速くなりリアルタイム性が向上します。3つ目は 導入先の拡大 で、スマートフォンや工場の機械といったエッジデバイス（手元の端末）上でも動作させやすくなります²。

この「手元で動かせる」という点は、クラウドに送れない機密データを扱う業務や、通信が不安定な現場での利用を考えると大きな意味を持ちます。軽量化は単なる節約ではなく、AIを使える場所を広げる技術でもあるのです。

知識蒸留：賢い先生から小さな生徒へ

知識蒸留（Distillation）の発想の原点は、2015年にGeoffrey Hinton・Oriol Vinyals・Jeff Deanが発表した論文「Distilling the Knowledge in a Neural Network」にあります。この論文は、複数モデルのアンサンブル（寄せ集め）を使った予測が「扱いにくく、デプロイするには計算コストが高すぎる場合がある」¹という課題を指摘し、その知識を1つのモデルに圧縮して「デプロイしやすくする」¹手法を提案しました。

仕組みは、「大きなモデル（ティーチャーモデル）の知識を、より小さなモデル（スチューデントモデル）に伝達する」³というものです。株式会社AXの解説も「高性能で巨大な教師モデルが持つ知識を、より小さな生徒モデルに受け継がせる」²手法だと説明しています。生徒モデルは、教師モデルの出力（答え方や判断の傾向）を真似て学習することで、教師に近い能力を小さな体で身につけます。

ACTIONBRIDGEの解説によれば、知識蒸留のメリットは「モデルサイズの縮小、推論速度の向上」、デメリットは「蒸留プロセスに追加のトレーニング時間が必要」³な点です。つまり、軽くて速いモデルが手に入る代わりに、生徒を育てるための学習工程が必要になります。

量子化：数値の「細かさ」を落とす

もう1つの代表的な手法が量子化（Quantization）です。こちらはモデルの中身そのものを作り直すのではなく、モデルが持つ膨大な数値（パラメータ）の表し方を変えてサイズを縮めます。

株式会社AXの解説は、量子化を「32ビットの数値をよりビット数の少ない整数に変換するプロセス」²と説明しています。たとえば32ビット（FP32）から8ビット整数（INT8）に変換するとサイズはおよそ4分の1、4ビット（INT4）ならおよそ8分の1に縮みます²。ACTIONBRIDGEも、量子化を「モデルのパラメータを低精度（例: 16-bit、8-bit）で表現する技術」³とし、数値精度を削減することでメモリを節約すると述べています。

イメージとしては、写真の解像度を少し落としてファイルサイズを小さくするのに近い操作です。メリットは「メモリ消費の削減、計算速度の向上」ですが、その代わり「精度の低下が見られることがある」³というデメリットがあります。数値を粗くするほど軽くなる一方で、細かなニュアンスが失われる可能性がある、というトレードオフです。

違いと使い分け

知識蒸留と量子化は、軽くするという目的は同じでも、アプローチが異なります。知識蒸留は「賢い先生の知識を小さな生徒に学ばせて作り直す」方向であり、量子化は「すでにあるモデルの数値の細かさを落として軽くする」方向です。蒸留は別途学習が必要な分だけ手間がかかりますが、量子化は既存モデルに比較的すぐ適用できる、という違いもあります。

なお、軽量化技術はこの2つだけではありません。ニューラルネットワーク内の重要度の低い接続を削除してスリム化する プルーニング（枝刈り） ²という手法もあります。ACTIONBRIDGEは、これらの技術を「組み合わせることで」効果を最大化できると述べています³。実際の現場では、蒸留で小さなモデルを作り、さらに量子化で仕上げる、といった併用も行われます。

軽量化は、Hugging Faceで公開される小型のオープンモデルや、GoogleのGemmaのような軽量モデルが広がる背景にある技術です。最大級のモデルだけでなく「小さく賢いモデル」が注目されるいま、蒸留と量子化という2つのキーワードを押さえておくと、どのモデルが自社の用途や端末に合うかを判断する手がかりになります。なお、軽量化は既存モデルを小さくする技術であり、特定の業務に合わせて性能を高めるファインチューニングとは目的が異なる点も区別しておくとよいでしょう。