腾讯 Hy4 开源:774B 旗舰权重全放,下载量栏里写着二

凌晨三点零五分,Hugging Face 上 tencent/Hy4 这个仓库的最后一次提交标题只有两个字,update。权重是这时候补齐的。

往前看还有一层。仓库十月二十九号就建好了,建完之后一直空着,等到十一月二十号凌晨才真正有东西。同一个时间点,tencent/Hy4-FP8 和 tencent/Hy4-base 也跟着动了。

三天前开的不是这个。十一月十七号放出来的是 Hy4-flash,两千二百亿总参数,每 token 激活一百二十亿。今天这个是旗舰,两边完全不是一个东西,只看名字很容易混。

数字先摆出来

配图

总参数七千七百亿,这是不含视觉编码器、适配器和投机解码草稿模型的口径。每 token 激活四百九十亿文本参数,另加十二点三亿视觉参数。视觉编码器自己是一点二三亿,DFly2 草稿模型三点三亿。

七十八层。第一层是稠密前馈,后面七十七层全是 MoE,每层二百五十六个路由专家,每个 token 选八个,另外还有一个共享专家。隐藏维度六千一百四十四,词表十二万零八百三十二,稠密前馈的中间维度一万八千四百三十二,专家中间维度两千零四十八。

注意力用的是门控版 DeepSeek 稀疏注意力加 IndexCache,跨层复用稀疏索引,底层仍是 MLA。索引器三十二个头,每个头一百二十八维,每个 token 只从上下文里挑两千零四十八个位置参与计算,剩下的不碰。q_lora 秩两千零四十八,kv_lora 秩五百一十二。残差那边用了 iHC,四条残差流。

上下文一百万 token。视觉编码器四十层,隐藏维度一千五百三十六,十六个注意力头,patch 十六乘十六,位置编码一百二十八乘一百二十八,视觉特征按二乘二合并。

仓库 safetensors 接口报的精确参数是七百七十四亿三千四百万二千一百四十二。这个数比七千七百亿多出来的部分,就是视觉塔和草稿模型。

BF16 版本二百四十五个分片,合计一千五百四十八点九 GB。FP8 版本同样二百四十五个分片,七百八十六点三 GB,单个分片最大六点四四 GB。这两个体积决定了后面所有的部署讨论,先把它们记住。

下载量那一栏是二

我拉了 Hugging Face 的接口。downloads 字段是 2,likes 是三十六。ModelScope 那边同步了一份,下载四十八次,收藏一个。

这不是模型不行。一千五百四十八点九 GB 的 BF16 权重,光是落盘就要这么多空间,还得有装得下的机器。想下载先得有地方放。

对比三天前的 flash 就很清楚。Hy4-flash 的下载量是两千零五十三,因为体积小一个数量级,能跑的人自然多一个数量级。同一个系列,两个数字差了三个数量级,差的全是硬件门槛。

开源和可用之间隔着的不是许可证,是显存。这句话在这两天的数据里体现得特别直白。

硬件门槛比想象的硬

配图

vLLM 官方那份 recipe 写得很直接。FP8 需要大约九百四十四 GB 的聚合显存,BF16 需要一千八百五十九 GB,默认配置是单机八张 B300。AMD Instinct 明确不支持,ROCm 移植版既没有视觉编码器也没有 DFly2 草稿模型,这条路直接堵死。

主机内存也得跟上。FP8 权重落盘要七百八十六 GB,BF16 要一千五百四十九 GB,二百四十五个分片逐个加载,内存不够连启动都过不去。

vLLM 版本本身也有门槛。零点三四点零不认这个架构,零点三五点零才是第一个正式带它的版本。眼下能跑的是官方镜像 vllm/vllm-openai:hy4,十一点七六 GB,amd64 和 arm64 都有。SGLang 那边是 lmsysorg/sglang:hy4,十五点六八 GB,同样是双架构。

这两个镜像都是今天凌晨前后推的,和权重同步。

三个坑,都在装的时候踩

配图

坑一,transformers 还没合。PyPI 上最新是 5.23.0,十一月十三号发的。这个 tag 下面没有 hy_v4_vl 这个目录,主分支上才有。也就是说 pip 装出来的版本认不出 HYV4VLForConditionalGeneration 这个架构名,加载会直接报未知模型类型。

还有两个 PR 挂着。50589 是修 interleaved RoPE 对齐 checkpoint 布局,十一月十号提的,到今天还是 open。50903 是给 Hy4-flash 加支持,十一月十八号提的,也还是 open。两个都还在改。

坑二,官方那行 vLLM 命令加载的是 FP8 权重,但参数里写 dtype bfloat16。这两个不矛盾,FP8 存权重、BF16 算,是 blockwise W8A8 的常规做法。真正容易看错的是另一处,命令里 tensor-parallel-size 给八,配的是七百八十六 GB 的 FP8。有人拿这行命令原封不动去加载 BF16 权重,八卡装不下一千五百四十九 GB,启动阶段就 OOM。报错位置在权重加载之后,容易误判成驱动问题。

坑三,GGUF 是今天下午才补齐的。AngelSlim/Hy4-GGUF 这个仓库十一月十六号建的,一开始只有一个视觉投影文件,主模型的量化分片是空的。今天下午一点零三分传了 Hy4-STQ1_0.gguf,二百三十点五 GB,一点四十分又传了 Hy4-IQ2.gguf,三百三十二点四 GB,视觉投影 mmproj 是二点六七 GB。下载量到现在还是零。

三百三十二 GB 的 IQ2 也得有机器装。低比特量化把门槛从八卡降到两三张卡,但没降到消费级。

许可证不是 Apache

许可证是 Tencent Hy License,Hugging Face 的 license 字段标的是 other。

关键条款在第十节。做 MaaS 生意,也就是把模型的推理或微调能力通过接口开放给第三方、让对方能提交输入或指定参数,有两种情况必须先拿到单独的书面授权。一是连续十二个月全球总营收超过五千万美元,不管这笔钱是不是这个模型挣的。二是任何一个自然月里月活超过一亿的产品或服务。

只在自己内部用,不对外提供模型能力也不对外提供输出,第十点三条明确排除在外,不受这个限制。条款里还专门排除了两类,一类是模型能力被限定在特定功能或流程里的终端产品、不提供通用模型访问的,另一类只是把请求转发给第三方独立运营的模型服务的。

这个条款比 Apache 严,但比「禁止商用」宽得多。真正的分界线是「有没有把模型能力卖给别人」,不是「有没有拿它赚钱」。顺带一提,Hy4 preview 当年标的是 Apache 2.0,这次收紧了。

能力这块,官方自己留了余地

金融众测用的是五百七十九个真实任务,二百一十三位从业者打分,其中一百五十三位来自头部机构,七成以上有五年以上经验。Hy4 平均三点零四分,满分四。DeepSeek-V4.1-Flash 是二点九七,Kimi K3.1 Pro 和 GLM-5.3 都是二点六八。

幻觉率从 preview 的百分之十五点七六压到百分之五点四五,猜测性错误从百分之二十三点一压到百分之五点六。这两个数改善幅度很大,来源是官方内部评测,没有第三方复现。

基座那几个数,MMLU 91.6,MMLU-Pro 73.9,C-Eval 95.0,SimpleQA 57.2,MMMU-Pro 59.6。游戏开发比 preview 涨了百分之十九点一,游戏逻辑涨了百分之九点八,数据来自和腾讯互娱一起做的评测集。

官方在已知局限那一节写了,研究级数学、长程编码、模型自我改进、高级视觉问答这几个方向上,跟头部闭源模型还有明显差距。这句话挺实。开源模型现在的位置就是,跑分能贴上去,硬任务还差一截。差的那一截恰好是最难补的。

我的判断

第一个判断,这次开源的实际意义不在能不能用,在于权重真的给了。七千七百亿参数的多模态 MoE,完整权重、FP8 量化版、基座模型一次放全,连视觉塔和投机解码草稿都没拆出去。国内这么干的没几家。研究机构拿去改架构、做蒸馏、验证稀疏注意力的效果,价值在这里,不在部署。

第二个判断,能自己部署的人极少,但这不是失败。八张 B300 的机器全球也没多少台,能跑起来的是云厂商和有集群的大厂。对剩下的人,Hy4 的价值在 API 和蒸馏,不在自己拉权重。判断一个开源模型有没有用,只看能不能在自己机器上跑,这个标准从一开始就选错了。

第三个判断,许可证那两道门槛划得很清楚。五千万美元营收和一月一亿月活,做工具的、做内部系统的、做垂直行业产品的,基本都在门槛外。真会被卡住的是想做通用模型 API 转卖的那批人。这条线划在能力转售而不是商业使用,是个务实的切法,也留了足够的商业空间。

第四个判断,transformers 那两个 PR 挂着这件事,说明开源节奏和生态适配是两条腿走路,还常常不同步。权重先放,框架后跟,中间这几天只能用官方镜像。想用原生 transformers 加载的还得等。这个时间差以后会越来越常见,开源发布那天不等于能 pip 装那天。

收个尾。看一个模型开源,先看下载量是个挺有效的习惯。这次那个二,说明的是门槛,不是热度。热度在 flash 那边,两千零五十三次下载,那才是这个系列真正被用起来的入口。

暂无介绍....

延伸阅读:

黎曼猜想被证明了,证据是十七万行没人读得完的代码

2026 年 11 月 20 日,Anthropic 数学家 Levent Alpöge 发布 4 页 PDF,称与 C...

itadol5j
2026年11月21日
群晖一天补了二十七个洞,最狠那个不需要登录

2026 年 11 月 10 日群晖连发两份 DSM 安全公告,共 27 个 CVE。CVE-2026-76954 为 ...

itadol5j
2026年11月20日
腾讯 Hy4 开源:774B 旗舰权重全放,下载量栏里写着二

2026 年 11 月 20 日凌晨,腾讯混元在 Hugging Face 放出 Hy4 旗舰完整权重,774B 总参数...

itadol5j
2026年11月20日
微软官方 agent-framework 被投毒:33 分钟里两版窃密包,不 import 也会跑

2026 年 11 月 17 日,微软 PyPI 包 agent-framework 被推上 1.26.1 与 1.26...

itadol5j
2026年11月20日
PHP 一次修了十八个洞,四个能直接拿 shell,8.2 还剩六周寿命

2026 年 11 月 19 日 PHP 发布四个安全版本:8.5.13(18 个 CVE)、8.4.28(14 个)、...

itadol5j
2026年11月20日