Cerebras WSE-3：AI推論を高速化するウェハースケールチップの技術とビジョン

Cerebras Systemsが開発したWSE-3チップは、4兆個のトランジスタと44GBのオンチップSRAMを搭載し、従来のGPUの20倍以上の推論速度を実現。その技術的革新と創業者のビジョンを解説。

AI推論の速度がビジネスの成否を左右する時代において、Cerebras Systemsは従来のGPUアーキテクチャとは根本的に異なるアプローチで、AI処理の限界に挑戦しています。同社が開発したウェハースケールエンジン（WSE）は、一枚のシリコンウェハーをそのまま一つのチップとして使用するという、従来とは異なる設計により、高い処理速度を実現しています。

2024年3月に発表されたWSE-3は、4兆個のトランジスタと90万個のAI最適化コアを搭載し、Llama 3.1 70Bモデルで毎秒450トークン、8Bモデルでは毎秒1,800トークンという処理速度を達成。これは同等のNVIDIA GPU ソリューションと比較して20倍以上の速度だとしています¹²。TIME誌はこの技術を2024年のベストイノベーションの一つに選出しました³。

Cerebrasとは：連続起業家が築くAIインフラ企業

Cerebras Systemsは2015年にAndrew Feldman氏をはじめとする5名の共同創業者によって設立されたAIインフラ企業です。Feldman氏はSeaMicroの創業者として知られ、同社を2012年にAMDへ3億3400万ドル（現金2億8100万ドル＋株式5300万ドル）で売却した実績を持つ連続起業家です⁴。

SeaMicro以前にも、Force10 Networks や Riverstone Networks といったネットワーク機器企業の立ち上げに関わってきたFeldman氏。スタンフォード大学でMBAを取得した彼は、エネルギー効率の高いコンピューティングのパイオニアとして、マイクロサーバーカテゴリの創出によってサーバー業界の軌跡を永遠に変えた人物として評価されています⁵。

共同創業者チーム

Cerebrasの創業チームは、SeaMicroで共に働いた経験を持つ以下のメンバーで構成されています：

Andrew Feldman（CEO）
Gary Lauterbach
Michael James
Sean Lie
Jean-Philippe Fricker

このチームは、2021年11月時点で累計7億2000万ドル以上の資金調達に成功しています⁶。

WSE-3の技術革新：なぜこれほど速いのか

メモリボトルネックの根本的解決

従来のGPUアーキテクチャでは、メモリが計算コアの外部にあるHBM（High Bandwidth Memory）に配置されています。LLMの推論時には、各レイヤーのパラメータをメモリから計算コアにロードし、行列積演算を実行し、これをトランスフォーマーブロック全体で繰り返す必要があります。この際、GPUの計算能力の大部分は、HBMからパラメータを取得する待ち時間でアイドル状態になってしまいます⁷。

Cerebrasはこの問題を根本から解決しました。WSE-3は44GBのSRAMをシリコン上に直接搭載し、これは NVIDIA H100の約1,000倍の容量に相当します。このSRAMは計算コアの近くに分散配置され、推論時に外部メモリへのアクセスが不要となります⁸。

圧倒的なメモリ帯域幅

WSE-3の技術仕様は以下の通りです⁹：

メモリ帯域幅: 21ペタバイト/秒（H100の7,000倍）
プロセッサ間相互接続帯域: 214ペタビット/秒（グラフィックスプロセッサ間の3,715倍）
トランジスタ数: 4兆個
AIコア数: 90万個
ピーク演算性能: 125ペタフロップス
チップサイズ: 46,225mm²（従来チップの最大サイズ約815mm²の56倍以上）

オンウェハー相互接続の革新

WSE-3のオンウェハー相互接続は、何百もの小さなデバイスをワイヤーやケーブルで接続する際の通信の遅延と非効率性を排除します。すべての通信とメモリが単一のシリコンスライス上にあることで、データは妨げられることなく移動でき、コアツーコア帯域幅は毎秒1,000ペタビット、SRAMツーコア帯域幅は毎秒9ペタバイトを実現しています¹⁰。

「これは少し速いというレベルではありません」とFeldman氏は語ります。「シリコン上に留まることで、4桁大きな帯域幅を実現しているのです」¹¹。

実際のパフォーマンス：数値で見る優位性

推論速度の実績

2024年8月の発表時点でのパフォーマンス¹²：

Llama 3.1 8B: 毎秒1,800トークン（Groqの2.4倍高速）
Llama 3.1 70B: 毎秒450トークン（即座の応答を可能にする唯一のプラットフォーム）

2024年11月までに、システムはさらなる最適化により¹³：

Llama 3.1 70B: 毎秒2,100トークンを達成

学習速度の向上

WSE-3はCS-3コンピュータシステムの基盤となり、NVIDIA DGX H100システムと比較して¹⁵：

学習速度: 8倍高速
最大モデルサイズ: 24兆パラメータまで対応
Llama 70B学習時間: GPUで30日かかる学習をCS-3クラスタでは1日で完了
電力効率: DGXソリューションの3分の1の消費電力

なぜLLM推論でこれほどの差が生まれるのか

LLMの特性とアーキテクチャの関係が、Cerebrasの優位性を生み出しています。LLMの推論は本質的にシーケンシャルな処理であり、各単語の生成には、モデル全体を通過する必要があります。1単語生成に1パス、100単語なら100パス必要で、各単語が前の単語に依存するため、この処理を並列化することはできません¹⁶。

従来のGPUアーキテクチャでは、モデルの重みを外部メモリから繰り返し読み込む必要があり、これがボトルネックとなります。Cerebrasのウェハースケールアプローチは、モデル全体をチップ上に保持することで、このメモリ帯域幅のボトルネックを根本的に解決しています。

開発者から見ると、ハードウェアは巨大なGPUのように見え、すべてのモデルの重みがオンチップに存在します。結果として、推論は毎秒2,500トークン以上という「理不尽なほど高速」に実行されます¹⁷。