蚂蚁集团-大模型预训练引擎研发专家-百灵团队

百灵大模型预训练 Infra 团队负责百灵模型训练系统的建设与演进，聚焦大规模预训练场景下的效率、扩展性与稳定性问题。团队长期围绕训练加速、并行架构、系统瓶颈分析，与算法开展协同优化，支撑百灵模型在超大规模集群上的持续迭代。 我们的工作方向包括但不限于： 1. 大模型训练加速：并行策略、低精度计算、算子与显存优化、跨机通信、数据预处理； 2. 超大规模训练效率优化：面向万卡级场景研究 scaling 理论与系统性能上限； 3. 算法 / 系统 co-design：与算法团队协同设计和优化模型架构与训练策略； 4. 深度学习基础设施建设：参与蚂蚁容错系统 DLRover 的研发与演进。 【任职要求】 1. 具有大模型并行策略/大规模分布式系统设计与研发优化经验； 2. 熟悉 CUDA、Cutlass 或主流通信优化原理，具备实际性能分析与调优经验； 3. 熟悉主流深度学习框架及分布式训练生态，包括但不限于 PyTorch、Megatron、DeepSpeed、Hugging Face； 4. 具备较强的系统分析与抽象能力，能够从第一性原理出发理解和设计系统； 5. 对 scaling law、系统瓶颈分析与训练效率建模有较深入理解； 6. 具备良好的数学建模能力，能够将复杂工程问题抽象并转化为可验证、可优化的方案； 7. 有文本、语音、图像、推荐等一个或多个方向模型经验者优先。