根据 Beating,Google DeepMind 发布了 Magenta RealTime 2(MRT2),一款针对 Apple Silicon MacBook 优化的开源实时音乐生成模型。该模型使音乐人能够通过 MIDI 信号、文本提示或音频样本来控制音频生成,且延迟低于 200 毫秒。
MRT2 支持三种交互模式:基于 MIDI 的伴奏引导,能够根据和弦输入自动生成管弦乐伴奏;基于风格的文本到乐器合成;以及音频克隆,模仿输入声音特征。提供两个参数版本——面向所有 Apple Silicon Mac 的 2.3 亿参数 mrt2_small,以及面向更高端的 M 系列 Pro 和 Max 芯片的 24 亿参数 mrt2_base。用于推理的库 magenta-rt 以及基于 C++ 的推理引擎现已在 GitHub 开源,同时也提供独立的 macOS 应用程序和 DAW 插件。