PyTorch TorchInductor 集成 CuteDSL 作為矩陣乘法自動調優後端

robot
摘要生成中

ME 新聞訊息,4 月 7 日(UTC+8),PyTorch 官方團隊近日宣布,已將 CuteDSL 作為第四個矩陣乘法自動調優後端整合到 TorchInductor 中。選擇該後端基於三個標準:不增加過多維護負擔、不拖慢編譯或基準測試時間,以及在目標工作負載上提供更好的效能。CuteDSL 由 NVIDIA 積極開發,提供最佳化的內核模板,其編譯時間與現有後端相當,且顯著優於需要完整 \nvcc\ 編譯的 CUTLASS C++ 路徑。該後端基於與 CUTLASS C++ 相同的抽象構建,採用 Python 編寫,編譯更快、維護更簡單,並已在 FP8 GEMM 與 Epilogue 融合方面證明具備強大效能。團隊專注於最佳化 GEMM(矩陣乘法),因為其在 Transformer 模型中佔據主要計算開銷。CuteDSL 透過提供手工最佳化的模板來生成底層程式碼,避免了從頭編寫內核的複雜性,並完全暴露執行緒與記憶體階層結構,支援架構特定功能。(來源:InFoQ)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言