训推平台研发工程师-瀚海平台

职位描述: 负责公司AI训练与推理平台的架构设计、性能优化及功能迭代。熟悉常用训练和推理框架，构建高效、灵活的模型平台，支持多场景下的大模型参数高效微调、推理、评测。 主要职责: • 构建训推一体化平台，与算法及应用团队紧密协作，支撑算法及应用团队的训练推理评测需求 • 开发模型服务化引擎，支持动态推理加速（如vLLM）和推理服务化 • 参与需求分析、系统设计和技术评审，确保项目按时交付 • 编写高质量的代码，并进行单元测试和集成测试 • 跟踪最新的AI技术和行业趋势，持续提升技术能力 【任职要求】 任职要求: • 计算机科学、软件工程相关专业本科及以上学历 • 3年及以上开发经验，熟练掌握Python、Go、Java等编程语言中的一种或多种，熟悉设计模式。 • 熟悉大模型推理评测框架以及推理加速技术，如PyTorch、vLLM、opencompass等，了解其内部原理和优化机制，有实际开发优化与使用经验者优先 • 具备微服务架构经验，熟悉容器化技术和编排工具 • 参与过大型系统架构设计，熟悉微服务、RESTful API设计，了解分布式系统容错与性能优化方法 • 有高性能计算、并行计算、GPU优化等相关经验者优先，熟悉CUDA并行计算框架者更佳 • 对大模型Infra技术有浓厚的兴趣和热情，愿意在该领域不断探索和创新 加分项: • 熟悉云原生技术栈（Kubernetes、Service Mesh），有混合云部署AI平台经验 • 熟悉LLaMA Factory/vLLM/Kserve等框架 • 精通Python语言的优先 • 参与过开源项目或在知名技术社区有活跃贡献