DeepSeek开源优化并行策略,发布DualPipe与EPLB

PANews
PANews|2025年02月27日 02:39
据DeepSeek(@deepseek_ai)公告,在开源周第四天,团队开源了多项优化并行策略,包括DualPipe(双向管道并行算法,优化V3/R1训练中的计算-通信重叠)、EPLB(专家并行负载平衡器,提高计算资源分配效率)及计算-通信重叠分析工具,帮助优化训练性能。
+5
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读