加密知识一站通
行情·工具·策略

何恺明团队ELF:语言扩散模型终于跑通

动察 Beating 监测,MIT 何恺明团队发布语言扩散模型 ELF(Embedded Language Flows)。它没有沿用 GPT 式的自回归「预测下一个 token」路线,而是把文本生成放进连续 embedding 空间里完成,直到最后一步才转换回离散 token。

扩散模型在图像生成里已经成熟,但放到文本上一直很别扭:图像天然是连续信号,语言却由离散 token 组成。此前不少连续扩散文本模型,要么在生成轨迹中反复引入 token 级监督,要么需要额外独立解码器。ELF 的做法更干净:大部分步骤只在连续向量空间里去噪,最终一步再用共享权重网络完成离散化。

实验结果也有冲击力。在 OpenWebText 无条件生成评测中,105M 参数的 ELF-B 用 32 步采样达到约 24.1 的 Gen. PPL,优于多种离散和连续扩散语言模型基线。更关键的是,ELF-B 只用了约 45B 训练 token,而对比方法通常超过 500B,训练 token 少了约一个数量级。这个结果至少说明,连续扩散路线在语言建模里并没有被「语言离散性」堵死,之前的问题更可能出在建模接口和采样设计上。

赞(0)
未经允许不得转载:币须知道 » 何恺明团队ELF:语言扩散模型终于跑通

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址