蚂蚁集团-推理网关研发工程师-杭州

我们是蚂蚁集团网络技术团队，为蚂蚁集团全站提供通智一体、稳定高效的网络基础设施产品、平台和服务。推理网关将直接服务蚂蚁阿福、阿宝、灵光等 AI 业务。 ● 负责推理网关核心能力设计和开发； ● 通过创新的 GPU 流量调度算法减少推理成本、提升用户体验。 【任职要求】 ● 熟练掌握 C、C++、Golang 一种或多种语言，3年以上系统软件开发经验； ● 具备大模型推理网关相关经验，了解主流大模型服务协议，熟悉大模型推理服务的运行机制，掌握 GPU 流量调度技术（如 Prefill/Decode 分离、Prefix Cache 感知、负载感知及 SLO 感知等）； ● 熟悉 Envoy、MOSN、AIGW 等云原生网关架构及实现原理，具备 Go/C++ 高性能网络代理开发及大规模生产实践经验； ● 熟悉分布式系统架构，理解数据分片、多副本同步、幂等处理等技术； ● 掌握性能分析和调优手段，对系统稳定性、扩展性有思考； ● 有 NVIDIA Dynamo、SGLang Router、AIBrix 等大模型推理基础设施使用或研发经验者优先。