トークンとは？LLMが文章を数える単位と料金・制限の関係を解説

生成AIの料金表を見ると、「100万トークンあたり◯ドル」という表記が必ず出てきます。モデルの性能紹介でも「コンテキストウィンドウは20万トークン」のように、何かにつけて登場するのが トークン（token） という単位です。AIの利用コストや制限を理解するうえで避けて通れないこの概念を、公式ドキュメントをもとに整理します。

結論を先に言えば、トークンとは「LLM（大規模言語モデル）が文章を読み書きするときの最小単位」であり、料金もコンテキストウィンドウもレート制限も、すべてこの単位で数えられています。

トークンとは何か：AIは「文字」ではなく「断片」で読む

Anthropicの公式用語集によると、トークンは「言語モデルの最小の個別単位であり、単語、部分語（サブワード）、文字、さらには（Unicodeの場合）バイトに対応しうる」ものです¹。Microsoftの解説も、LLMを使うとき「テキストはまずトークナイザーによって、単語・文字の集合・単語と句読点の組み合わせといった単位に分解される」と説明しています²。

ポイントは、トークンが「1文字ずつ」でも「スペース区切りの単語」でもないことです。日本語の解説記事の表現を借りれば、トークンは「LLMの開発元が独自に決めた辞書に基づいて、よく出てくる文字列をひとまとめにした断片」です⁴。人間が文章を文字や単語で読むのに対し、AIはこの断片の並びとして文章を扱います。

分解の方式には、単語単位・文字単位・サブワード（部分語）単位の3種類があり²、たとえばOpenAIのGPTモデルはByte-Pair Encoding（BPE）と呼ばれるサブワード方式を使っています²。モデルが知っているトークンの集合は「語彙（vocabulary）」と呼ばれ、各トークンには番号（ID）が割り当てられており、文章はこの番号の列に変換されてから処理されます²。

ちなみに、AIの文章生成も1トークンずつ進みます。モデルは「次に来る確率がもっとも高いトークン」を予測し、それをこれまでの列に付け足して、また次のトークンを予測する——この繰り返しで出力を組み立てています²。チャットAIの回答が先頭からパラパラと表示されていくのは、この仕組みの現れです。

日本語は英語よりトークンを消費しやすい

同じ内容の文章でも、言語によってトークン数は大きく変わります。Claudeの場合、1トークンはおよそ英語3.5文字に相当しますが、正確な数は言語に依存します¹。

日本語はこの点で不利になりがちです。日本語の解説記事では、トークナイザーの辞書が英語の頻出パターンを中心に作られているため、日本語は同じ内容でも英語より多くのトークンに分解されやすい傾向があると説明されています⁴。具体的に何倍になるかはモデルやトークナイザー、文章の内容によって変わりますが、「同じことを書いても日本語は英語よりトークンを多く消費しやすい」という傾向は、コストや容量を見積もるうえで押さえておく価値があります。

なぜ重要か：料金・容量・速度制限がすべてトークン単位

トークンを理解すべき実用上の理由は、LLMにまつわる主要な数字がすべてトークン単位だからです。

第一に料金です。生成AIサービスの多くはトークンベースの課金を採用しており、リクエストのコストは入力と出力のトークン数で決まります。入力と出力で単価が異なる場合もあります²。日本語の解説記事では、LLM APIの料金はほとんどの場合「入力トークン×単価」と「出力トークン×単価」の合計で計算されると整理されています⁴。また、チャットでは過去の会話履歴が毎回入力に含まれるため、会話が長くなるほど1回あたりの入力トークンは増えていきます⁴。実際の利用量の確認には、ccusageのようなコスト管理ツールが役立ちます。

第二に 一度に扱える文章量 です。LLMには入力・出力のトークン数上限があり、入力と出力を合わせた「コンテキストウィンドウ」の最大値として表現されることが多くなっています²。長い資料を読ませようとして途中で切られた経験があるなら、それはこの上限に達したためです。詳しくはコンテキストウィンドウの解説記事で説明しています。

第三に 速度制限 です。生成AIサービスは1分あたりに処理できる最大トークン数（TPM）というレート制限を設けています²。業務システムにAIを組み込む際、このTPMが処理能力の上限を決める要因になります。

トークン数は事前に数えられる

「このプロンプトは何トークンになるのか」を送信前に知る手段も用意されています。Anthropicはメッセージを送る前にトークン数を確認できるToken counting APIを提供しており、レート制限とコストの事前管理や、プロンプトを特定の長さに収める最適化に使えます³。公式ドキュメントの例では、「You are a scientist」というシステムプロンプトと「Hello, Claude」というメッセージの組み合わせで、入力トークンは14と数えられています³。

注意したいのは、トークンの数え方（トークナイザー）自体がモデルの世代によって変わることがある点です。たとえばAnthropicの公式ドキュメントによると、Claude Fable 5とMythos 5はClaude Opus 4.7で導入されたトークナイザーを使っており、それ以前のモデルと比べて同じテキストがおよそ30%多いトークンに分解されます³。同じ文章でも「何トークンか」はモデルごとに違う——この前提を知っておくと、モデルを乗り換えるときのコスト見積もりで足をすくわれずに済みます。

トークンは普段は意識しなくてよい裏方の単位ですが、料金・容量・速度というLLM利用の3つの制約すべての「通貨」になっています。AIのコストを最適化したい場面や、長文処理の限界を見極めたい場面で、まず思い出すべき概念です。