大模型推理优化-算子与框架适配-阿里星/A Star

1. 参与vLLM/SGLang等开源推理引擎的底层算子优化,重点攻关高性能Attention算子创新,通过编译优化(Triton/CUDA Graphs)提升单服务实例的推理性能； 2. 负责异构硬件的适配与算子自动调优,最大化利用硬件特性(Tensor Core、HBM带宽、NVLink拓扑)； 3. 配合前沿模型压缩算法(量化、剪枝、蒸馏)探索算子级优化方案,创新请求调度算法,优化用户体验和系统吞吐； 支撑云上客户大模型部署标杆场景,将技术成果沉淀为PAI推理服务核心特性； 4. 探索云上混部署方法，将不同尺寸、不同访问频度、不同优先级的模型混合部署在异构资源池中，并保证SLA。通过请求调度方法的创新、资源共享方法创新，降低总体部署成本、提升资源利用率和弹性； 5. 推动底层算子优化方向的学术影响力和开源影响力产出。 【任职要求】 1. 具备扎实的计算机基础知识、C++/Python编程能力，熟悉常见数据结构和设计模式； 2. 具有很强的学习能力、复杂问题归纳梳理能力、沟通和团队协作能力，具备能够深度钻研技术的耐心； 3. 有很强的学术研究能力和优秀的学术成果(AI领域顶会/顶刊论文)。