Transformerとは？AIを変えた「アテンション」の仕組みを解説

ChatGPTの「GPT」は Generative Pre-trained Transformer の略です。Googleが開発した「BERT」も Bidirectional Encoder Representations from Transformers の略²。現代の生成AIの名前には、しばしば共通する一語が隠れています——それが Transformer（トランスフォーマー） です。

Transformerは、いまのAIブームを支える「設計図」にあたる技術です。この記事では、Transformerとは何か、何がそれほど画期的だったのか、そしてなぜそれがLLM（大規模言語モデル）の急速な進化につながったのかを、2017年の原論文をもとに非専門家向けに解説します。

Transformerとは：2017年に生まれた新しい設計

Transformerは、2017年にGoogleの研究者らが発表した論文「Attention Is All You Need」で提案された、ニューラルネットワークの新しいアーキテクチャ（構造）です²。

この論文の主張は、タイトルがそのまま表しています。論文は「我々は、アテンション機構のみに基づき、再帰（recurrence）と畳み込み（convolution）を完全に排した、新しいシンプルなネットワークアーキテクチャ、Transformerを提案する」¹と述べています。それまでの主流だった複雑な仕組みを捨て、「アテンション」という1つの考え方に絞った——これがTransformerの出発点でした。

では、その「アテンション」とは何でしょうか。そして、それを捨てた「従来の仕組み」とは何だったのでしょうか。順に見ていきます。

新しさ①：文全体を見て「どこに注目するか」を決める

アテンション（Attention、注意機構）とは、文章の中で「どの言葉とどの言葉が関係しているか」を計算し、重要な情報に注意を向ける仕組みです。AIsmileyの解説は、これを「系列データ（テキストや音声など）の各要素と他の要素との関連性を計算し、重要な情報に『注意（Attention）』を向けることで、文脈理解を行う」²と説明しています。

特に重要なのが 自己注意機構（Self-Attention） です。これは、1つの文の中で単語同士がどう関係し合うかを捉える仕組みで、「Self-Attentionが単語間の関係性を捉えることで、文章全体の文脈を考慮した単語の表現を得ることができる」²とされます。

たとえば「銀行の前の川の土手」という文で、「土手」が「川」と結びつくのか「銀行」と結びつくのかは、文全体を見渡さないと分かりません。Self-Attentionは、まさにこの「文全体を見て、各単語が他のどの単語に注目すべきか」を計算します。これにより、AIは言葉を前後の文脈の中で正しく理解できるようになりました。

新しさ②：「逐次処理」をやめて並列処理へ

もう一つの革新は、処理のしかたにありました。

Transformer以前の主流だったRNN（再帰型ニューラルネットワーク）には、弱点がありました。AIsmileyの解説によれば、「従来の系列変換モデルであるRNNは、系列データを逐次的に処理する必要があった」²のです。つまり、文章を1単語ずつ順番に読むしかなく、前の処理が終わらないと次に進めませんでした。これは長い文章ほど時間がかかり、大量のデータでの学習を難しくしていました。

Transformerはこの制約を取り払いました。「Transformerは系列データを並列に処理できる」²ため、文中の単語をまとめて同時に扱えます。原論文も、Transformerは従来モデルより「品質で優れているうえに、より並列化しやすく、学習に要する時間が大幅に短い」¹と報告しています。

この「並列処理で速く学習できる」性質こそが、後のLLMの巨大化を可能にした決定的な要因でした。膨大なテキストを現実的な時間で学習できるようになったことが、「Large（大規模）」なモデルへの道を開いたのです。

成果：機械翻訳での実証から、LLMの時代へ

Transformerの実力は、当初から機械翻訳で示されました。原論文によると、Transformerは「WMT 2014の英独翻訳タスクで28.4 BLEUを達成し、アンサンブルを含む既存の最良結果を2 BLEU以上上回った」¹とされます。さらに英仏翻訳では「8台のGPUで3.5日間学習し、単一モデルとして当時最高の41.8 BLEUを達成した。これは文献中の最良モデルの学習コストのごく一部である」¹と報告されています。BLEUは翻訳の品質を測る指標で、数値が高いほど良い翻訳を意味します。

ここで注目すべきは「8台のGPUで3.5日」という学習効率です。少ない計算資源で当時の最高水準に達したことが、「もっと大きくすればもっと賢くなるのでは」という発想につながりました。実際、その後に登場したGPTもBERTも、名前が示すとおりTransformerを土台にしています²。

つまりTransformerは、特定の製品ではなく、現代の生成AIが共通して立つ「土台」です。LLMがトークン単位で次の言葉を予測できるのも、コンテキストウィンドウの範囲で文脈を踏まえて応答できるのも、このアテンションという仕組みが文中の関係性を捉えているからです。AIの賢さの理由も、その限界の理由も、もとをたどればこの2017年の設計に行き着きます。生成AIを理解するうえで、Transformerは押さえておく価値のある一語です。