LLM（大規模言語モデル）とは？仕組みとできることを解説

ChatGPT、Claude、Geminiといった生成AIは、いまやニュースで見ない日がありません。これらのサービスの中心で実際に文章を読み書きしているのが LLM（大規模言語モデル、Large Language Model） です。「名前は聞くが、中身が何かは説明できない」——そんな概念の代表格でもあります。

この記事では、LLMとは何か、どうやって人間のような文章を生み出しているのか、そして何ができて何が苦手なのかを、公式ドキュメントをもとに整理します。当サイトで個別に解説してきたトークン・コンテキストウィンドウ・ハルシネーションといった概念が、すべてこのLLMという土台の上に乗っていることが見えてくるはずです。

LLMとは何か：大量のテキストで訓練された「言葉のモデル」

Anthropicの公式用語集は、LLMを「多数のパラメータを持ち、驚くほど多様で有用なタスクをこなせるAI言語モデル」と定義しています。さらに「これらのモデルは膨大な量のテキストデータで訓練され、人間のような文章を生成し、質問に答え、情報を要約することなどができる」と説明しています¹。

ポイントは3つあります。第一に 膨大なテキストで訓練されている こと。第二に パラメータ（モデル内部の調整つまみ）が非常に多い こと。第三に、その結果として 特定の用途に作り込まなくても、文章生成・質問応答・要約など幅広いタスクをこなせる ことです。従来のAIが「翻訳専用」「分類専用」と用途ごとに作られていたのに対し、LLMは1つのモデルで多様な仕事に応用できる点が大きな違いです。

なお「生成AI」と「LLM」は混同されがちですが、生成AIは画像・音声・動画なども含む広い概念で、そのうち言語を扱う中核技術がLLMだと整理すると分かりやすくなります。

どう動くか：1トークンずつ「次の言葉」を予測している

LLMが文章を生成する仕組みは、意外なほどシンプルな原理に支えられています。それは「次に来る言葉を予測する」ことの繰り返しです。

まず、入力されたテキストは トークン と呼ばれる単位に分解されます。Microsoftの解説によると、LLMを扱うとき「テキストはまずトークナイザーによって、単語・文字の集合・単語と句読点の組み合わせといった単位（トークン）に分解される」³とされます。そして訓練の段階で、LLMは「トークン同士の意味的な関係——どれとどれがよく一緒に使われるか、似た文脈で使われるか——を分析する」³のです。

この「意味的な関係」を数値で表したものが 埋め込み（embeddings） です。Microsoftの解説は「これらのトークンID列はトークン間の意味的関係を明らかにする。それを表すのが、埋め込みと呼ばれる多値の数値ベクトルである。モデルは、各トークンが他のトークンとどれだけ一緒に使われるか、似た文脈で使われるかに基づいて埋め込みを割り当てる」³と説明します。乱暴に言えば、LLMは言葉を「座標」に変換し、意味の近い言葉を近くに配置することで、言葉の関係を捉えています。

そして文章を生成するときは、「これまでの並びに続く、もっとも確からしい次のトークン」を選びます。Microsoftの解説は「出力生成の際、モデルは並びの中の次のトークンのベクトル値を予測し、その値に基づいて語彙の中から次のトークンを選ぶ」³とし、さらに「出力生成は反復的な処理である。モデルは予測したトークンをそれまでの並びに付け足し、それを次の入力として使い、1トークンずつ最終的な出力を組み立てていく」³と述べています。チャットAIの回答が先頭からパラパラと表示されるのは、まさにこの「1トークンずつ」の現れです。

LLMが参照できるのは、訓練データそのものではなく、その場のやり取りに収まる範囲のテキストです。この「作業記憶」にあたるのがコンテキストウィンドウで、Anthropicはこれを「言語モデルが新しいテキストを生成する際に振り返って参照できるテキストの量」であり、訓練に使った大量のデータとは別の「モデルにとっての作業記憶（working memory）」だと説明しています¹。

なぜ急に賢くなったのか：Transformerという転換点

LLMがここまで実用的になった背景には、2017年に登場した Transformer（トランスフォーマー） というアーキテクチャがあります。

Googleなどの研究者が2017年6月に発表した論文「Attention Is All You Need」²が、その出発点です。この論文は、それまで主流だった逐次処理型のネットワーク（再帰や畳み込み）を使わず、「アテンション機構のみに基づく（based solely on attention mechanisms）」新しいアーキテクチャ、Transformerを提案しました²。

アテンション機構をかみ砕けば、「文中のどの言葉に注目すべきかを、文全体を見渡して判断する仕組み」です。逐次的に1語ずつ処理する必要がないため並列計算が容易で、学習時間を大きく短縮できました。論文では機械翻訳タスクで英独28.4 BLEU、英仏41.8 BLEUという当時の最高水準を、より短い学習時間で達成したと報告されています²。この「大量のデータを効率よく学習できる」性質が、後の大規模化、すなわち「Large」なモデルへの道を開きました。

「ただの予測モデル」がアシスタントになるまで

ここで一つ疑問が湧きます。次の言葉を予測するだけのモデルが、なぜ指示に従い、丁寧に答えてくれるのでしょうか。答えは、LLMが複数の訓練段階を経ているからです。

最初の段階は 事前学習（Pretraining） です。Anthropicの用語集は、事前学習を「大量のラベルなしテキストコーパスで言語モデルを訓練する最初の工程」と定義し、「Claudeの場合、（基盤となる）自己回帰型の言語モデルは、文書中のそれまでの文脈をもとに次の単語を予測するよう事前学習される」¹と説明します。ただし、ここで重要な但し書きが付きます。「事前学習されたモデルは、本質的には質問に答えたり指示に従ったりするのが得意ではなく、望ましい振る舞いを引き出すにはしばしばプロンプトエンジニアリングの高度なスキルを要する」¹のです。

そこで次に行われるのが ファインチューニング と RLHF です。Anthropicは、ファインチューニングを「事前学習済みの言語モデルを追加データでさらに訓練する工程」¹と定義します。RLHF（人間のフィードバックによる強化学習）については、「事前学習済みの言語モデルを、人間の好みに沿って振る舞うよう訓練する技術」であり、「人間のフィードバックは2つ以上の例文を順位づけすることから成り、強化学習の過程で、より上位にランクされた出力に似た出力を好むようモデルを促す」¹と説明しています。

実際、Anthropicは「Claudeは素のままの言語モデルではなく、すでに役立つアシスタントになるようファインチューニングされている」¹、「Claudeは大規模言語モデルをもとにした対話アシスタントで、より役立ち、誠実で、無害になるようファインチューニングとRLHFで訓練されている」¹と述べています。つまり、私たちが日常的に使うチャットAIは、「次の言葉を予測する素のLLM」の上に、人間好みの振る舞いを後天的に学習させた結果なのです。

できることと、苦手なこと

LLMは、文章生成・質問応答・要約・翻訳・分類など、言語にまつわる幅広いタスクをこなせます¹。一方で、その仕組みに由来する限界も明確です。

最大の弱点が ハルシネーション です。LLMはあくまで「もっともらしい次の言葉」を確率的に選んでいるため、事実と異なる内容を自信ありげに出力することがあります。Anthropicが理想とするAI像の一つに「誠実（honest）」を挙げ、誠実なAIとは「正確な情報を提供し、ハルシネーションやでっち上げをしない」ものだと定義しているのは¹、裏を返せばこれがLLMの構造的な課題だからです。

もう一つの限界が 知識の範囲 です。LLMの知識は訓練時点のデータに依存し、その後の出来事や社内の非公開情報は知りません。この弱点を補う代表的な手法が RAG（検索拡張生成）で、外部の知識を実行時にコンテキストへ渡して回答の根拠にします。さらに、LLMにツールを使わせて自律的にタスクを進めさせる AIエージェントや、外部データ・ツールとの接続を標準化する MCP といった技術も、いずれもLLMという土台を前提に、その能力を拡張するために生まれた仕組みです。

LLMは「次の言葉を予測する」という単純な原理を、膨大なデータとTransformerによる効率的な学習、そして人間好みへの調整によって、驚くほど汎用的な道具に育て上げたものだと言えます。仕組みと限界を押さえておけば、生成AIをどこまで信頼し、どこを人間が補うべきかの判断がぐっと立てやすくなります。