大模型训练调度专家-Seed

团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE等超过50个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包App用户量在中国市场排名第一，豆包大模型日均Token调用量行业领先。 1、负责机器学习系统资源调度的设计和开发，服务于各方向场景（NLP/CV/Speech等）的模型训练、模型评估和模型推理； 2、负责多种异构资源（GPU、CPU、其他异构硬件）的最优化编排，实现稳定资源、潮汐资源、混布资源、多云资源的合理化使用； 3、负责通过技术手段实现计算资源、RDMA高速网络资源、存储资源的最优调度，充分发挥大规模分布式集群的计算能力； 4、负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布； 5、负责资源的复用和利用率的提升，更好的利用大模型场景中的预训练、后训练、离线推理、评估等任务的特性，优化排队、优先级、抢占等逻辑，提升集群利用率。 【任职要求】 1、熟练掌握Linux环境下的Go/Python/Shell等1至2种以上语言； 2、熟悉Kubernetes架构和生态，熟悉Docker/Containerd/Kata/Podman等容器技术，有丰富的机器学习系统实践和开发经验； 3、掌握分布式系统原理，参与过分布式系统的设计、开发和维护； 4、有优秀的逻辑分析能力，能够对业务逻辑进行合理的抽象和拆分； 5、有强烈的工作责任心，较好的学习能力、沟通能力和自驱力，能够快速的响应和行动； 6、有良好的工作文档习惯，及时按要求撰写更新工作流程及技术文档。 加分项： 1、熟悉至少一种主流的机器学习框架，如PyTorch/Megatron-LM等； 2、熟悉ray框架或其他强化学习相关计算框架； 3、有以下某一方向领域的经验：数据驱动的机器学习系统、AI任务容错、高性能计算/RDMA网络/存储、操作系统内核、GPU硬件驱动等； 4、在计算机系统网络顶会OSDI/SOSP/NSDI/ATC/EuroSys上有文章发表经验。