SambaNova Systems: 高速AI推論を実現するRDUチップと独自アーキテクチャを解説

SambaNova Systemsの企業概要、創業者、独自のRDUチップ技術、3層メモリアーキテクチャによる高速推論の仕組みを詳しく紹介。DeepSeek-R1で198トークン/秒を達成する技術の秘密に迫ります。

SambaNova Systems: 高速AI推論を実現するRDUチップと独自アーキテクチャを解説

SambaNova Systemsとは

SambaNova Systemsは、2017年にスタンフォード大学の研究者らによって設立されたAIハードウェア・ソフトウェア企業です。同社は、独自開発のRDU(Reconfigurable Dataflow Unit)チップを中核とした高性能AI推論プラットフォームを提供し、エンタープライズ向けAIコンピューティングの新たな地平を開いています。

創業者と経営陣

3人の共同創業者

SambaNova Systemsは、AI・半導体分野で豊富な経験を持つ3人のエキスパートによって創業されました。

Rodrigo Liang(CEO兼共同創業者)

  • スタンフォード大学で電気工学の修士号と学士号を取得
  • Sun MicrosystemsとOracleで20年以上にわたり半導体エンジニアリングに従事
  • エンタープライズシステム向け高性能プロセッサの開発チームをリード

Kunle Olukotun(共同創業者兼チーフテクノロジスト)

  • スタンフォード大学電気工学・コンピュータサイエンス教授
  • 「マルチコアプロセッサの父」として知られる
  • Stanford Hydra Chip Multiprocessor (CMP)研究プロジェクトのリーダー
  • 2002年にSunに買収されたAfara Websystemsの創業者

Christopher Ré(共同創業者)

  • スタンフォード大学コンピュータサイエンス准教授
  • MacArthur Genius賞受賞者
  • Stanford AI LabおよびStatistical Machine Learning Groupに所属

独自技術:RDUアーキテクチャ

RDU(Reconfigurable Dataflow Unit)とは

SambaNovaの技術的優位性の中核を成すのが、独自開発のRDUチップです。従来のGPUやCPUとは異なるデータフロー処理方式を採用し、AI推論に特化した設計となっています。

3層メモリアーキテクチャ

SN40L RDUの最大の特徴は、革新的な3層メモリシステムです:

  1. オンチップSRAM: 520MiBの高速アクセス可能なオンチップメモリ
  2. コパッケージHBM: 64GiBの高帯域メモリ
  3. オフパッケージDDR DRAM: 最大1.5TiBのDDRメモリ(プラガブルDIMM使用)

このアーキテクチャにより、DDRからHBMへのモデルロードが1TB/秒以上の速度で実行され、メモリボトルネックを大幅に解消しています。

主要コンポーネント

PCU(Pattern Compute Units)

  • アプリケーションの最内側並列操作を実行
  • 多段階の再構成可能SIMDパイプラインとして構成
  • ループレベル並列性とパイプライン並列性を活用

PMU(Pattern Memory Units)

  • 高度に特殊化されたスクラッチパッド
  • オンチップメモリ容量の提供と特殊機能の実行
  • データ移動の最小化とレイテンシの削減

圧倒的な推論速度

実測パフォーマンス

SambaNovaは、大規模言語モデルにおいて業界トップクラスの推論速度を達成しています:

  • DeepSeek-R1 671B: 198トークン/秒(SambaNova Cloud上で実測)
  • Llama 3.1 405B: 129トークン/秒/ユーザー(世界記録)
  • 一般的なLLM: 最大450トークン/秒(8チップ構成)
  • ファーストトークンタイム: 約0.2秒

ハードウェア効率性

従来のGPUベースのシステムと比較して、SambaNovaは驚異的な効率性を実現:

  • DeepSeek-R1 671Bの実行に必要なハードウェアを40ラック(最新GPU 320台)から1ラック(RDU 16台)に削減
  • 各SN40L RDUソケットは638 BF16 TFLOPSのピーク演算性能
  • 低消費電力で高いトークン生成効率(kWhあたりのトークン数)

製品ラインナップ

クラウドとオンプレミスの両対応

SambaNovaは、様々な導入形態に対応した製品群を提供しています:

  1. SambaCloud: クラウドベースのAI推論プラットフォーム
  2. SambaStack: 包括的なAIコンピューティングプラットフォーム
  3. SambaManaged: データセンター向けターンキーAIソリューション
  4. SambaRack: 高効率AI推論ハードウェア

企業評価と資金調達

ユニコーン企業としての地位

2021年4月、SambaNovaはシリーズDラウンドで6億7,600万ドルを調達し、企業評価額は51億ドルに到達しました。この資金調達ラウンドは以下の投資家が参加:

  • リード投資家:SoftBank Vision Fund 2
  • 参加投資家:Temasek、GIC、BlackRock、Intel Capital、GV、Walden International、WRVI

これまでに4ラウンドで総額11億3,000万ドルを調達し、「世界で最も資金調達に成功したAIシステム・サービスプラットフォームのスタートアップ」となっています。

ミッションとビジョン

AIの民主化を目指して

SambaNovaは「エンタープライズAIへのアクセスの民主化」をミッションに掲げています。同社の目標は:

  • あらゆる規模の企業がAIの力を活用できるようにする
  • 最先端技術とアクセシビリティのギャップを埋める
  • データセンターからクラウドまでAIアプリケーションを効率的に実行

顧客基盤

主要な顧客には以下が含まれます:

  • 国立研究所
  • 政府機関
  • エンタープライズ企業
  • 開発者コミュニティ

技術革新がもたらす価値

SambaNovaの技術は、AI推論における以下の課題を解決しています:

  1. メモリウォール問題: 3層メモリアーキテクチャによる解決
  2. 消費電力: データフロー処理による効率的な電力利用
  3. スケーラビリティ: モジュラー設計による柔軟な拡張
  4. 導入速度: 数か月でAIインフラを構築可能

SambaNova Systemsは、スタンフォード大学の研究成果を基盤として、AI推論の高速化と効率化を実現する独自技術を開発しました。RDUチップと3層メモリアーキテクチャは、従来のGPUベースのシステムと比較して、大幅な性能向上と消費電力削減を達成しています。51億ドルの企業評価額を持つユニコーン企業として、エンタープライズAIの普及と発展に貢献し続けています。

参考リンク

最新のAIニュースを毎日お届けしています。

RSSで購読する 更新をいち早くチェックできます。

他のキーワードで探す →