OpenAI、自社推論チップ「Jalapeño」の測定結果を公開 - 電力あたり1.5〜1.9倍、遅延1.7〜3.6倍改善と主張

OpenAIが初の自社推論チップJalapeñoの初回測定結果を公開した。GPT-OSS 120B・DeepSeek R1・Kimi K2.5の3モデルで、電力あたりの処理量が比較システムの1.5〜1.9倍、エンドツーエンド遅延が1.7〜3.6倍低いとしている。展開開始は年内の計画。

OpenAI inference AI-chip NVIDIA LLM infrastructure

OpenAI が8月25日、初の自社推論チップ Jalapeño の測定結果を公開した¹。同社によれば、チップとその周辺システムを発表後にテストしてきた結果として、電力あたりのAI処理量と応答の速さの両方で数字が出たという。

数字は3つのオープンウェイトモデルにわたる。GPT-OSS 120B、DeepSeek R1、Kimi K2.5 1T の3つで、ピークスループット時の電力あたりAI処理量が比較システムの1.5〜1.9倍、エンドツーエンド遅延が1.7〜3.6倍低い、対話性の高いワークロードでは 2.1〜4.1倍の性能 としている¹。ただしこれらは OpenAI 自身が実施した測定であり、第三者による検証結果ではない。

「1.9倍」が何と何を比べた数字なのか

この発表を読むときに最初に押さえておきたいのは、OpenAI が性能をチップ単位ではなく電力単位で測る立場を選んでいることだ。同社は「性能はチップ単位で報告されることもあるが、より有用な基準は電力単位あたりの性能だと考えている」と、その選択自体を明記している¹。

測定に使ったのは SemiAnalysis の公開ベンチマーク InferenceX で、AIリクエストを処理する全工程を測るものだと説明されている¹。比較は「市販されている主要なAIシステム」に対して、高スループット寄りから低遅延・高対話性寄りまでの動作範囲にわたって行ったとしている¹。

正規化の方法も書かれている。各アクセラレータの公称チップ電力（published chip power rating）で結果を正規化しており、Jalapeño の定格は700W、ただしテストしたワークロードでの実測持続電力は550W以下にとどまった、という説明だ¹。

付録の図には比較条件がより具体的に載っている。GPT-OSS 120B の図には「InferenceX・GPT‑OSS‑120B・nominal 8k/1k・STP・package TDP: Jalapeño 700 W; GB200 1,200 W」とあり、DeepSeek R1 と Kimi K2.5 の図には GB300 の 1,400 W が記載されている¹。電力定格の異なるシステム同士を、それぞれの公称電力で割って比べているという構図がここから読み取れる。いずれにせよ、公開されている数字は電力あたりのもので、「チップ1枚あたりで何倍速い」という読み方はできない。

モデル別の数値も付録にある。GPT-OSS 120B ではピークの電力あたりスループットが約1.9倍（85,448 対 44,960 mixed/kW）、エンドツーエンド遅延が約1.7倍低い（1.03秒対 1.80秒）¹。テストした中で最大の公開モデルである Kimi K2.5 では、電力あたりのピーク性能が約1.5倍、エンドツーエンド遅延が約3.4倍低いとしている¹。

なお、社内のフロンティアモデルではこの差がさらに広がったという記述もあるが、これは OpenAI の内部テストでの結果であり、公開されたベンチマーク結果ではない¹。

エージェントの「待ち時間が積み重なる」問題

OpenAI が評価の考え方として挙げているのは、「同じユーザー体験を揃えたうえで」測るという発想だ。顧客や対話型エージェントが求める遅延を満たしながら、各システムが単位電力あたりどれだけ有用なAI処理をこなせるかを測る、と説明している¹。

なぜ遅延にこだわるのかについて、同社はエージェントは多数のステップを順番に実行する必要があるため、遅延がタスク全体にわたって積み重なるからだと書いている¹。1回の応答が1秒遅いだけでも、20ステップ踏むエージェントでは20秒の差になる。エージェントを業務に組み込もうとしている読者にとっては、この積み重なりのほうがモデルの賢さより先に効いてくる場面がある。

アーキテクチャ側の説明もこの点に沿っている。言語モデルの推論はプロンプトを処理する prefill（計算量が支配的）と、トークンを1つずつ生成する decode（メモリ帯域に制約される）で性質が異なる¹。Jalapeño はデータ移動と通信の遅れを最小化する設計で、応答生成中に使う KVキャッシュを含むモデルの状態を明示的に配置してローカルに保てるようにし、推論フェーズごとに計算・メモリ・ネットワークの適切な組み合わせを起動する、としている¹。

AIで設計し、AIが書けるように設計する

開発の進め方についての記述も具体的だ。OpenAI は、AIが Jalapeño の開発に直接関与し、実装の探索・設計/測定/検証ループの短縮・モデルワークロードでの反復を通じて、初期設計からテープアウトまでを9か月で進められたとしている¹。

チップ側も「人間とAIの両方にとって明確で予測可能なプログラミング対象」として設計したという。実際、Codex と GPT‑Astra を使い、当初の生産計画に入っていなかったオープンウェイトモデル3つを2か月で高性能化したと書かれている¹。

ただし、ここには同社自身が付けた但し書きがある。GPT-OSS の一部の attention・mixture-of-experts ブロックについて、AIが生成した実装が人間の専門家が書いた既存実装より1.5〜1.8倍速かった、という数字は挙げられているが、**「これらの数字は選択したブロックに対するものであり、モデル全体に対するものではない」**と明記されている¹。

展開はこれから、NVIDIAも使い続ける

実務的に重要なのは時期だ。OpenAI は 年内に自社の計算基盤への Jalapeño の展開を開始する計画としており、Gen 2 は開発が進み、Gen 3 も形になりつつあるという¹。現時点では量産適格性の確認、ソフトウェアの成熟、大規模運用の準備、より多くのモデルでの性能検証を続けている段階だと書かれている¹。

同時に、訓練・推論の両ワークロードで NVIDIA をはじめとするパートナーのアクセラレータを引き続き広く展開するとも明記している¹。自社チップが外部調達を置き換えるという話ではない。

効率の改善が何をもたらすかについては、同社は3つの並びで説明している。従来は fast モードでしか得られなかった効率で ultra-fast モードの推論を、batched モードでしか得られなかった効率で fast モードの推論を、そして batched モードの推論はさらに高効率に、というものだ¹。同社はこれを、同じ電力とハードウェアからより多くの有用な処理を生み出すことで需要に応え、成功した結果1件あたりのコストを下げられる話として位置づけ、有用な処理と収益がサービス提供コストより速く伸びる余地が生まれる、とも書いている¹。

推論の速さが競争軸になった夏

この発表は、ここ数週間の流れの延長線上にある。OpenAI API には8月13日に高速応答の Ultrafast 階層が加わったことが Cerebras から発表され、8月21日には OpenAI 自身が GPT-5.6 Sol の期間限定値下げを告知している。ハードウェア側でも、NVIDIA が8月24日に推論アクセラレータ Groq 3 LPX の量産開始を発表したばかりだ。

「モデルが賢いか」ではなく「同じ電力でどれだけさばけるか、どれだけ待たせないか」が並んで語られるようになっている。ただし Jalapeño は展開前であり、直近の値下げがこのチップによるものだと結びつける材料は、今回の発表には含まれていない。

APIを業務に組み込んでいる立場から見れば、今すぐ何かが変わるわけではない。年内に展開が始まったあと、応答速度や価格に実際にどう反映されるかを、公表される数字ではなく自分たちの利用実績で確かめる段階が来る、という見通しが立つ発表だ。