MoE（Mixture of Experts）とは？巨大AIが高速に動く仕組み

最新の大規模言語モデルには、「総パラメータは数千億にのぼるのに、動作はむしろ速い」という、一見矛盾したものが増えています。この両立を可能にしている代表的なしくみが MoE（Mixture of Experts、専門家の混合） です。Mixtral、Gemini、Grok、DeepSeekなど、近年の主要モデルの多くがこのアーキテクチャを採用しているとされます²。

MoEは、巨大化を続けるAIが抱える「大きくするほど計算コストが跳ね上がる」というジレンマへの一つの答えです。この記事では、MoEとは何か、なぜ巨大なのに速いのかを、原論文や技術解説をもとに非専門家向けに整理します。前提となるTransformerの仕組みとあわせて読むと理解が深まります。

密モデルの限界：簡単な質問にも「全員」が働く

MoEを理解するには、まず従来型のモデルがどう動いているかを押さえると分かりやすくなります。

GPT-3やLlama 2のような従来型は 密（Dense）モデル と呼ばれます。Qiitaの解説はその特徴を、「どんな簡単な質問が来ても、モデル内の全ニューロン（全員）が計算に参加」²すると表現しています。つまり、入力が何であれモデルの持つパラメータがすべて動員されるため、モデルを大きくすればするほど、一回の処理にかかる計算量もそのまま増えていきます。

これが密モデルのジレンマです。性能を上げるにはパラメータを増やしたい。しかしパラメータを増やすほど、推論（実際に使うとき）のコストと時間も重くなってしまう——この壁にぶつかります。

MoEの発想：「専門家」の一部だけを働かせる

MoEはこのジレンマを、「毎回すべてを使う」のをやめることで乗り越えます。Qiitaの解説はMoEを「入力に応じて『専門家（Expert）』の一部だけを稼働させることで、巨大なパラメータ数と高速な推論を両立する技術」²と定義しています。

イメージとしては、何でも一人で診る医師ではなく、多くの専門医を抱える総合病院に近いものです。モデルの中に「専門家（Expert）」と呼ばれる小さなネットワークを多数用意しておき、入力の内容に応じて「それに詳しい一部のニューロン（Expert）だけが計算に参加」²します。全員ではなく担当者だけが動くため、総数が膨大でも一回あたりの計算は軽く済みます。

このアイデア自体は新しいものではありません。2017年に発表された原論文「Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer」（Shazeerら、Google）は、「数千個のフィードフォワード部分ネットワークで構成されるスパースゲーティング混合専門家層（MoE）」を導入し、「ニューラルネットワークの容量を1000倍以上改善し、計算効率の低下は小さい」ことを達成したと報告しています¹。容量（モデルの大きさ）を桁違いに増やしながら、計算量の増加は抑えられる——これがMoEの核心です。

ルーターが「どの専門家に任せるか」を決める

では、どの専門家を働かせるかは誰が決めるのでしょうか。その役割を担うのが ルーター（ゲーティングネットワーク） です。

原論文の表現では、「訓練可能なゲーティングネットワークが各例に対して使用する専門家の疎な組み合わせを決定」¹します。Qiitaの解説はこれをより具体的に、入ってくる各トークン（単語の断片）に対して「どの Expert に担当させるか？を瞬時に判断」²するしくみだと説明しています。

このとき広く使われるのが Top-K方式 です。ルーターは各専門家にスコアを付け、「スコアが高い上位K個（通常は2個）の Expert だけにデータを送」²ります。たとえば専門家が8人いても、実際に1つのトークンを処理するのは上位2人だけ、という具合です。残りの専門家は休んでいるため、計算資源を使いません。この「一部しか動かさない」性質を スパース（疎） と呼び、MoEがスパースなアーキテクチャと言われる理由です。

「47Bの知識量を13Bの速度で」——具体例で見る効果

この効果を分かりやすく示すのが、オープンモデルとして知られるMixtral 8x7Bの例です。Qiitaの解説によれば、このモデルは全体で470億のパラメータを持ちながら、「47Bモデルの知識量を持ちながら、13Bモデル並みの爆速スピードで動く」²とされています。

つまり、知識の引き出しの多さ（総パラメータ）は大型モデル並みでありながら、実際に毎回動かす部分は中型モデル並みに抑えられている、ということです。MoEを採用しているとされるモデルにはこのMixtral 8x7Bのほか、Gemini 1.5、Grok-1、DeepSeek-V3などが挙げられます²。GPT-4もMoEを採用しているとしばしば報じられますが、OpenAIからの公式な確認はありません。

Transformerと軽量化のはざまで

MoEは、AIをまったく新しいものに置き換える技術ではありません。多くの場合、Transformerというモデルの基本構造の中で、本来ならすべての入力が同じ部分を通る箇所を、複数の専門家とルーターに置き換える形で組み込まれます。Transformerという土台の上で、その一部を「分業制」にした発展形だと捉えると位置づけが見えてきます。

また、巨大なモデルを実用的なコストで動かすという目的では、モデルの軽量化（蒸留・量子化）とも問題意識が重なります。軽量化がモデルそのものを小さくして効率を上げるのに対し、MoEは大きいまま「使う部分を絞る」ことで効率を上げる、というアプローチの違いがあります。

今後も新しい大規模モデルが登場するたびに「MoEを採用」という言葉を目にする機会は増えるはずです。その背景には、「賢さのためにモデルは大きくしたい、けれど毎回全部は使いたくない」という、AI開発が長く抱えてきた現実的な要請があります。MoEはその要請に対する、いまのところ最も実用的な答えの一つです。