AI推理平台-百炼AI Infra技术专家/高级开发工程师-北京/杭州

面向 LLM/MLLM 场景，围绕模型能力，致力于提供稳定且易用的开放 API 服务。 具体职责包括： 1. 模型服务 API：负责设计高可用服务架构与端到端业务方案，适配一方 Qwen 模型及第三方开源模型。对外提供覆盖智能对话、代码生成、图像/视频理解、向量化、排序等场景的基础 API，并参与流量控制、任务调度、缓存等核心链路建设。 2. 智能体服务化：面向通用人工智能场景，构建高效、可扩展的 Agent 框架，集成搜索引擎、文档理解、代码沙箱等能力；支持 OAI Responses API、Anthropic Messages API 等行业主流 Agentic API，充分释放模型能力，服务各行业客户。 3. 稳定性和效率：在百炼诸多模型和海量请求的场景中，保障线上服务稳定性，在毫秒级别持续提升端到端链路性能，推进 TTFT、TPOT 、Cache 命中率等核心指标优化；保障服务质量，参与大规模 CI/CD 体系建设，持续提升研发效率、功能正确性与交付质量。 【任职要求】 1. 计算机/软件工程/人工智能相关专业，熟悉 Python/C++/Rust 编程语言。 2. 具备 2 年及以上大模型架构、AI Infra 或者分布式系统开发相关工作经验，有使用PyTorch/TensorFlow等机器学习框架的经验，有vllm/sglang等推理引擎使用经验的优先，有算法框架研发经验的优先。 3. 具有良好的系统设计能力，能够设计可扩展、高效的系统架构。 4. 具备出色的问题解决能力，能够快速定位并解决技术难题。 5. 有强烈的责任心，具备良好的沟通能力、执行力及团队合作精神。