基础模型Infra研发工程师（训练/推理）

千问Qwen是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于深度参与大模型训练系统优化与高性能推理服务构建，聚焦于算法与系统协同设计，推动大模型在效率、稳定性与成本上的持续突破。若你对以下任意一个方向感兴趣均欢迎投递： 1. 模型训练优化：在不影响模型性能前提下提高各尺寸模型在大规模分布式预训练训练的 MFU，以支持模型规模，数据规模及支持模态的持续 scaling；持续进行RL训练框架的开发和优化，提高训练推理协同效率和大规模训练下的稳定性及可扩展性；同时与网络/服务器/存储等相关运维团队共同保障训练过程中的有效训练时间占比，保障模型的按期交付； 2. 模型推理优化：高效以及成本最优的推理服务，让AI进一步实现普惠。团队推理优化的工作目前主要关注高并发serving（Qwen Chat以及API服务）下的算法侧的探索与研发，主要针对Qwen系列模型，Chat模型、VL模型、Omni模型等。 【任职要求】 1. 来自全球Top高校计算机科学、人工智能、机器学习、深度学习、软件工程，或相关领域应届毕业生，博士/硕士毕业生优先; 2. 对深度学习框架有深入理解，了解其内部工作机制；熟悉GPU/CPU并行计算原理，具备分布式训练系统设计经验；熟悉Transformer架构以及大语言模型基础知识; 3. 熟悉常见的训练框架（例如Megatron-LM、Verl等）/推理框架（例如vLLM、SGlang等），能够独立在infra上验证想法或者完成上线； 4. 对LLM的量化、蒸馏、剪枝、稀疏化的某一项或者几项有完整的研究经历或者实际的工业界落地经验； 5. 对LLM的推理有深入认知，可以做训练、推理的联合设计以提升全链路效率； 6. 在计算机体系结构、高性能计算、并行计算等领域有过研究经历；具备千卡规模大规模模型训练的实际操作经验者优先； 7. 在国际顶级计算机会议/期刊（如OSDI、SOSP、NeurIPS、ICML、ICLR、ACL、TPAMI、CVPR、ECCV 等）以一作身份发表论文，或在开源社区、计算机领域竞赛中有突出研究成果和项目经历； 8. MLSys方向的知名开源项目（Megatron、Verl、OpenRLHF、vLLM、SGlang等）贡献者优先； 9. 对基础模型的前沿问题有持续热情，具备独立思考能力和系统性研究思维，有强烈的责任心和解决问题的能力，敢于挑战现有范式。能够独立应用技术解决复杂问题，完成 idea 的验证和模型的训练/推理； 10. 具备跨学科视野与协作意识，能够与工程、产品等多学科团队紧密合作，推动研究成果快速落地并产生实际影响力。