模型服务系统专家

工作内容： • 参与API Token模型服务的整体架构设计与核心开发工作，主导设计并研发大规模低延迟高吞吐分布式推理系统 • 负责解决大模型推理过程中的关键技术问题，包括负载均衡，流量调度，多机组网通信，系统高可用、KVCache管理等 • 负责模型服务的稳定性与性能优化，构建完善的可观测性系统，提升平台安全性与可靠性，推进资源调度系统的智能化升级 • 根据用户反馈快速定位并解决线上问题，深入分析业务需求，将高频使用场景沉淀为平台通用能力，持续提升平台的易用性与功能性 【任职要求】 岗位要求： • 深入理解大规模AI/模型服务系统工程，熟悉从0到1构建API Token服务 • 了解常见大模型算法原理（Transformer，MoE，MLA，Diffusion 等） • 熟悉主流开源框架SGLang/vLLM/TensorRT-LLM等 ，了解请求调度，KVCache存储，PD 分离等核心架构 • 拥有丰富的分布式系统开发经验，具备复杂系统的软件设计与调试能力 • 熟悉微服务架构，Kubernetes，容器技术，Prometheus 等相关技术栈 • 具备3年以上 Golang，Python或 C++ 中至少一门语言的开发经验 • 具备良好的学习能力和自我驱动力，持续关注云原生与人工智能领域的技术发展