Luofu Li: Grandes modelos entram na era pós-treinamento, com equipes de ponta alcançando uma proporção de poder de pré-treinamento e pós-treinamento de 1:1

ME News Notícias, 24 de abril (UTC+8), de acordo com o monitoramento do Beating, o chefe da equipe de grandes modelos da Xiaomi, Luo Fuli, apontou que a competição de grandes modelos mudou completamente do período dominado pelo pré-treinamento no era do Chat para a era dominada por agentes de pós-treinamento (Post-train). O ponto central atual é “como escalar o aprendizado por reforço (RL) em agentes”. Essa mudança de paradigma leva diretamente à reconstrução da alocação de poder de processamento. Luo Fuli revelou que, na era do Chat, a proporção de poder de processamento usado para pesquisa, pré-treinamento e pós-treinamento era aproximadamente 3:5:1; enquanto na era atual dos agentes, a proporção razoável de alocação de recursos é 3:1:1, ou seja, o investimento em pré-treinamento e pós-treinamento tornou-se praticamente equivalente, e as equipes de modelos de ponta atualmente investem nessas duas áreas em uma proporção de 1:1. Ao mesmo tempo, as exigências de arquitetura do sistema também mudaram drasticamente. No passado, a infraestrutura de RL era centrada principalmente em um “motor de inferência de modelo”, que lidava com cálculos de texto puro; agora, a infraestrutura deve ser centrada em “agentes”, suportando agendamento de clusters heterogêneos e tolerando a incerteza de interrupções de agentes devido a fatores imprevisíveis em fluxos de trabalho complexos. (Fonte: BlockBeats)