O Google DeepMind lança o Magenta RealTime 2, um modelo de música em tempo real para Mac com latência abaixo de 200 ms

De acordo com Beating, o Google DeepMind lançou o Magenta RealTime 2 (MRT2), um modelo de geração de música em tempo real open-source otimizado para MacBooks com Apple Silicon. O modelo permite que músicos controlem a geração de áudio por meio de sinais MIDI, prompts de texto ou amostras de áudio, com latência inferior a 200 milissegundos.

O MRT2 oferece três modos de interação: acompanhamento guiado por MIDI que gera automaticamente uma base orquestral com base na entrada de acordes, síntese de texto para instrumento para geração baseada em estilo e clonagem de áudio que imita as características do som de entrada. Estão disponíveis duas versões de parâmetros — um mrt2_small com 230 milhões de parâmetros para todos os Macs Apple Silicon e um mrt2_base com 2,4 bilhões de parâmetros para chips M-series Pro e Max de maior desempenho. A biblioteca de inferência magenta-rt e o mecanismo de inferência baseado em C++ agora foram disponibilizados em open-source no GitHub, com aplicativos standalone para macOS e plugins para DAW disponíveis.