直招.cv

← 返回职位列表

腾讯 社会招聘

大模型异构芯片推理适配调优工程师(深圳/北京/上海/杭州)

北京 ·一年以上工作经验·学历不限

北京

职位描述

基于多种异构芯片,GPGPU/NPU/XPU等,协同算法和业务团队,主导分布式异构推理系统的开发设计与落地实现,聚焦低延时、高吞吐目标,使能多种异构芯片算力和攻克大规模推理系统工程化落地关键技术,主要包括; 1.模型适配:针对业界主流(如DeepSeek,Qwenxilie)和自研大模型进行多芯片适配; 2.精度调优:解决适配过程中模块和端到端精度异常现象; 3.系统性能调优:针对推理全链路进行性能Profiling剖析,确保关键算子、系统调度等状态,并通过系统工程优化等手段实现最优性能目标; 4.推理框架/引擎架构优化:针对多芯片架构关键特性,在推理框架层面进行专项优化,确保最优效果; 5.核心算子开发/调优:针对推理关键算子和场景,结合多种芯片微架构、硬件特点,进行针对性优化,提升底层计算/通信效率。 【任职要求】 1.熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力,具备计算机体系架构功底和大型分布式系统开发调优经验优先; 2.熟悉和调优NVIDIA GPU和各种AI芯片至少一种,包括AMD、海光/摩尔/沐曦/ GPGPU架构、Ascend、寒武纪、昆仑芯等,两种以上优先; 3.熟悉和调优GPU和各种AI芯片底层算子编程方式至少一种,包括CUDA、Triton、TileLang、AscendC、BangC等,两种以上优先; 4.精通和具备vllm/sglang 等推理引擎深度实践经验,参与过基于上述引擎的大模型推理系统定制化开发与性能调优;精通推理引擎底层优化技术; 5.熟悉和了解业界主流大模型如DeepSeek、Qwen系列模型结构,常见切分方式,有针对性的分布式推理调优原理分析和实践经验优先; 6.熟悉和了解模型适配异构芯片的流程,具备适配经验,有端到端完成模型推理适配,精度/性能调优者优先; 7.熟悉和了解集合通信原理和常见互联形态,如NCCL、NVLink、RoCE等; 8.针对大EP通算融合算子Dispatch/Combine 开发调优者优先; 9.针对关键算子,Attention MLA/GQA/, Sparse Attention DSA, Linear Attetnion等,GEMM/Group GEMM,有深入分析和最佳优化实践者优先; 10.熟悉和了解PD分离架构,有异构PD分离实践经验优先。

最后确认在招:2026-09-03 23:15:16 · 来源平台:tencent