字节10万亿参数模型已开训，规模逼近Anthropic Mythos5

据动察 Beating 监测，英国《金融时报》援引三名知情人士称，字节跳动已经开始预训练一款最高 10 万亿参数的大模型。项目仍处于早期阶段，最终规模尚未确定。如果按上限训练，它将达到 Kimi K3 的三倍以上，成为目前已知中国团队中参数规模最大的模型。

字节这次直接把模型尺寸推到了 Anthropic 旗舰附近。Anthropic 从未公布 Mythos 5 的参数量，但《金融时报》援引行业估算称，Mythos 5 约为 8 万亿参数，Fable 5 约为 5 万亿。字节新模型若做到 10 万亿，至少在参数规模上已经进入美国最前沿闭源模型的同一量级。

这款模型目前还在预训练（用海量数据训练模型的基础能力）。《金融时报》称，这一阶段通常需要 3 至 6 个月，之后还要继续后训练，顺利才会发布。参数更多也不等于能力一定更强，最终表现还取决于架构、训练数据和训练方法。

张一鸣近期在 Seed 内部明确反对蒸馏竞争对手模型，要求团队接受短期落后，靠自研冲击世界第一梯队。这款最高 10 万亿参数的新模型，是字节目前最激进的一次规模下注。