Tencent、770BのMoE「Hy4 preview」の重みをApache 2.0で公開

Tencentが2026年8月28日、総パラメータ770B・トークンあたり活性49BのMoEモデル Hy4 preview の重みをHugging Faceなど4か所で公開した。ライセンスはApache 2.0、コンテキスト長は1M。同社は社内のブラインド評価でGLM-5.3とKimi K3をわずかに上回ったとしている。

Tencent open-weights MoE LLM China Apache-2.0

Tencent が2026年8月28日、大規模言語モデル Hy4 preview を公開し、重みを Hugging Face・ModelScope・GitCode・CNB の4か所に置きました¹²。ライセンスは Apache License 2.0 です²。

総パラメータは 770B、1トークンあたりに活性化されるのは 49B、コンテキスト長は 1M トークンです¹²。公開されているのは指示追従版（Instruct）と、その FP8 量子化版の2つです²。

「オープンソース」と同社は書いていますが、公開が確認できるのは重みとモデルカードで、学習データや学習コードの公開は確認できません。以下では「重みの公開」として扱います。

78層のうち77層がMoE

モデルカードは構成をかなり細かく開示しています²。バックボーンは78層で、先頭の1層だけが通常の dense FFN、残り77層が MoE に置き換わっています。各 MoE 層には routed expert が256個と shared expert が1個あり、トークンごとに上位8個の routed expert と shared expert が動きます²。

項目	値
総パラメータ / 活性パラメータ	770B / 49B
レイヤー	78層（1層目がdense FFN、77層がMoE）
エキスパート	routed 256・shared 1・トークンあたり活性 top-8
Hidden Size	6144
アテンション	Gated DSA（ヘッド64）
コンテキスト長	1M
語彙サイズ	120,832

（モデルカードの記載どおり、この表はバックボーンのみで MTP 層を除いた値です²）

このバックボーンとは別に、推測デコード用の MTP 層が1つ内蔵されています（総パラメータ10B・活性0.7B）²。

アテンションには Gated DeepSeek Sparse Attention（Gated DSA）を使い、層をまたいでスパースな索引を再利用する IndexCache を組み合わせています²。残差経路には iHC（identity Hyper-Connections）を採用しています²。モデルカード自身が、アーキテクチャ面では「DeepSeek と GLM に着想を得た」と書いています²。

この構成は、LG AI Researchが7月31日にApache 2.0で公開した750BのK-EXAONE 2.0とよく似ています。K-EXAONE 2.0 も78層で、エキスパートは共有1・総数256・トークンあたり活性8という構成でした（denseの層数だけが異なり、あちらは先頭2層）。層数とエキスパート数の水準がここまで一致しているのは、大型MoEの設計に定型ができつつあることの現れと見ることもできます。

社内163人・203タスクのブラインド評価

Tencent は評価結果として、社内のブラインド評価の数字を出しています。社内の専門家163人が203件のエンジニアリング課題で出力を採点したところ、Hy4 preview の平均は4点満点中 2.99 で、GLM-5.3 の2.92、Kimi K3 の2.94 をわずかに上回ったというものです¹。モデルカードは勝敗の内訳も示しており、GLM-5.3 に対しては勝ち46.8%・引き分け12.8%・負け40.4%、Kimi K3 に対しては勝ち51.2%・引き分け7.9%・負け40.9%です²。

いずれも Tencent が自社内で実施した評価で、第三者による再現ではありません。比較対象の Kimi K3 はMoonshot AIが7月にフルウェイトを公開したモデル、GLM-5.3 は Z.ai のモデルです。なお、自サイトが8月27日に扱った GLM-5.3-Flash（320B/18B、MITライセンス）は別のモデルにあたります。

モデルカードにはベンチマークの図も掲載されていますが画像で、個別スコアの数値は読み取れる形になっていません。

Tencent は自社の位置づけとして「オープンソースモデルのトップティア」という表現を使っています¹。これは同社の主張であり、外部の評価ではありません。

「自分で自分を最適化した」という主張

発表文で目を引くのは、モデル自身が開発工程に加わったという記述です。Tencent によれば、Hy4 preview は学習手法・データ戦略・評価フレームワーク・低レベルのオペレータの自動最適化に初めて参加し、案を出し、実験を回し、その結果をもとに反復したといいます。生成されたコード・ログ・フィードバックが次の探索に流し込まれ、「初期段階の再帰的自己改善ループ（recursive self-improvement loop）を確立した」というのが同社の説明です¹。

推論システムについても、モデル自身がボトルネックを分析し、オペレータ融合や通信の最適化を複数回にわたって行った結果、エンドツーエンドのスループットがベースライン比で 31.8% 向上したとしています¹。

ここは慎重に読む必要があります。いずれも Tencent 自身の説明で、外部検証はありません。31.8%という数字についても、ベースラインの定義や測定条件は発表文に書かれていません。「モデルが自分の推論基盤を最適化できることを示した」という同社の主張として受け取るのが妥当な範囲です。

動かす側のハードルと、動かさない選択肢

ライセンスが Apache 2.0 である点は、社内利用を検討する立場からは大きな違いです。商用利用・改変・再配布にかかる制約が軽く、Qwen3.8の27B版がApache 2.0で出たときと同様に、自前でホスティングする前提を組みやすくなります。

ただし770Bという規模は、重みが手に入ることと動かせることが別だという現実も同時に示しています。モデルカードが案内する配備方法は vLLM または SGLang で、その上で OpenAI 互換 API を叩く形です²。FP8 量子化版が同時に公開されているとはいえ、手元のPCで気軽に試せる規模ではありません。

重みを持たずに使う経路も用意されています。WorkBuddy・CodeBuddy・Yuanbao・ima といった Tencent 製品から直接使えるほか、Tencent Cloud TokenHub と OpenRouter 経由の API も提供されます¹。提供開始にあわせて WorkBuddy と CodeBuddy では2週間の無料利用ができ、前世代の Hy3 の無料提供も9月30日まで延長されています¹。同社が示す API 価格は、入力100万トークンあたり 0.834ドル、出力 2.501ドル、キャッシュヒット 0.042ドル です¹。

推奨パラメータは temperature=0.9、top_p=1.0で、推論モードは既定が「high」（深い連鎖的思考）です²。直接的な応答が欲しい場合は reasoning_effort に no_think を渡す形になります²。

「preview」という名前が意味するもの

モデルカードは既知の問題を自ら挙げています。事前学習・事後学習ともにまだ伸びしろがあり、複雑なタスクで必要以上に長く推論する、自分の作業を過剰に検証しがち、といった状態のまま出しているという記述です²。前世代の Hy3 preview のときと同様に、早く出して壊れる箇所を聞くほうを選んだ、とも書かれています²。

エージェント用途で使う場合、「必要以上に長く推論する」は素直にトークン単価と応答時間に効きます。額面の単価が低くても、1タスクあたりの消費トークンが増えれば実際の請求は変わります。企業の支出データでは最上位モデルの金額シェアが小さいという観測もあり、価格表の数字だけで採否を決めにくい領域です。試すなら、自社の代表的なタスクで実際の消費トークンまで測るのが確実です。

Tencent は preview を先に出して正式版を後から出す進め方を続けるとしており、Hy4 シリーズの次のモデルも近く投入する予定だと書いています¹。今回公開されたのが「シリーズの入口」である以上、本格的な検証は次のリリースを見てからでも遅くはないでしょう。