Google DeepMind publie Magenta RealTime 2, un modèle de musique en temps réel pour Mac avec une latence inférieure à 200 ms

D’après Beating, Google DeepMind a publié Magenta RealTime 2 (MRT2), un modèle open-source de génération musicale en temps réel, optimisé pour les MacBooks Apple Silicon. Le modèle permet aux musiciens de contrôler la génération audio via des signaux MIDI, des invites textuelles ou des échantillons audio, avec une latence inférieure à 200 millisecondes.

MRT2 prend en charge trois modes d’interaction : un accompagnement guidé par MIDI qui génère automatiquement une base orchestrale à partir de l’entrée d’accords, une synthèse texte-vers-instrument pour une génération axée sur le style, et un clonage audio qui imite les caractéristiques du son en entrée. Deux versions de paramètres sont disponibles : un mrt2_small de 230 millions de paramètres pour tous les Mac Apple Silicon, et un mrt2_base de 2,4 milliards de paramètres pour les puces M-series Pro et Max haut de gamme. La bibliothèque d’inférence magenta-rt et le moteur d’inférence basé sur C++ sont désormais open-sourcés sur GitHub, avec des applications macOS autonomes et des plugins pour DAW disponibles.