加密知识一站通
行情·工具·策略

谷歌发布音乐模型Magenta RealTime 2,Mac本地延迟低于200毫秒

动察 Beating 监测,谷歌 DeepMind 发布了开源实时音乐生成模型 Magenta RealTime 2(简称 MRT2)。新模型专为苹果芯片(M 系列)MacBook 优化,支持本地超低延迟运行。用户可以通过 MIDI 信号、文本提示词或音频片段,在低于 200 毫秒的延迟下将模型作为乐器进行实时演奏与控制。

音乐家能通过多种交互方式引导音乐生成。在 MIDI 引导模式下,伴奏系统会自动根据演奏者弹奏的和弦生成管弦乐等组合伴奏。在文本转合成器模式下,用户输入「disco funk」等风格描述即可生成可演奏的 MIDI 乐器。在音频克隆模式下,用户只需拖入一段简短的音频样本,系统就能模拟出对应的音色。声音生成过程还支持通过低频振荡器、MIDI 控制器甚至摄像头输入进行动态调制,为实时声音设计提供了丰富的交互维度。

为了满足不同硬件配置的需求,开发团队推出了两种不同参数规格的版本。2.3 亿参数的 mrt2_small 版本可以在包括 MacBook Air 在内的所有苹果芯片电脑上实现流畅的实时推理,而 24 亿参数的 mrt2_base 版本音质更高,但需要高阶 M 系列 Pro 或 Max 芯片才能保证实时的音频流合成。

目前,推理库 magenta-rt 和基于 C++ 的推理引擎 magentart::core 均已在 GitHub 开源,官方同时提供了可在 macOS 上直接运行的独立应用程序和数字音频工作站(DAW)插件。

赞(0)
未经允许不得转载:币须知道 » 谷歌发布音乐模型Magenta RealTime 2,Mac本地延迟低于200毫秒

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址