达摩院-大模型优化推理工程师-计算技术

- 设计模型分布式并行策略，对推理性能进行分析与优化，在给定硬件配置下找到最优部署方案 - 针对模型实现低精度量化方案，完成精度对齐，确保可在生产环境部署 - 协同框架、算子、运行时等相关团队，制定模型系统性部署方案，为最终模型交付质量负责 - 构建大模型Model Zoo，打造模型推理参考样例，优化模型评测标准和流程 【任职要求】 - 硕士及以上学历，有大模型推理优化或部署经验，扎实的 Python 编程能力，了解 C++ - 深入理解 Transformer 架构和大模型推理流程，熟悉 INT8/INT4/FP8 等量化技术并有实际落地经验 - 擅长性能分析和瓶颈定位，有 SGLang/vLLM 等推理引擎使用经验 - 有生产环境模型部署经验、算子级优化经验、客户支持经验或 MLSys/NeurIPS/ISCA 顶会论文者优先