A Huawei, a USTC e a Universidade de Pequim Conseguem um Aumento de Velocidade de 58% no Ascend A3 para Treino de Modelos MoE

De acordo com Beating, investigadores da Huawei, da Universidade de Ciência e Tecnologia da China (USTC) e da Universidade de Pequim revelaram o HyperParallel-MoE, uma framework de agendamento de compiladores concebida para chips Ascend A3. A framework reduz a latência nos módulos de computação de especialistas MoE em 36%, atingindo um aumento global de velocidade no processamento de dados de 58% (1,49–1,58x mais rápido) em clusters de 256 nós a executar modelos estilo DeepSeek com 671B parâmetros, enquanto a velocidade de treino por passo único melhorou 8–9%.
Aviso legal: As informações contidas nesta página podem provir de fontes externas e têm caráter meramente informativo. Não refletem os pontos de vista nem as opiniões da Gate e não constituem qualquer tipo de aconselhamento financeiro, de investimento ou jurídico. A negociação de ativos virtuais envolve um risco elevado. Não se baseie exclusivamente nas informações contidas nesta página ao tomar decisões. Para mais detalhes, consulte o Aviso legal.
Comentar
0/400
Nenhum comentário