Huawei, USTC e a Universidade de Pequim alcançam aumento de velocidade de 58% no Ascend A3 para treinamento de modelos MoE

De acordo com Beating, pesquisadores da Huawei, da Universidade de Ciência e Tecnologia da China (USTC) e da Universidade de Pequim revelaram o HyperParallel-MoE, um framework de escalonamento de compiladores projetado para chips Ascend A3. O framework reduz em 36% a latência nos módulos de computação de especialistas em MoE, alcançando um aumento geral de 58% na velocidade de processamento de dados (1,49–1,58x mais rápido) em clusters de 256 nós rodando modelos no estilo DeepSeek com 671 bilhões de parâmetros, enquanto a velocidade do treinamento de um único passo melhorou em 8–9%.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários