机器学习推理服务框架研发工程师 - Data AML

团队介绍：Data AML是字节跳动的机器学习中台，为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力，并在这些业务的问题上研究一些具有通用性和创新性的算法。同时，也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、负责模型推理服务整体架构设计与落地，针对大参数、高复杂度AI模型打造高性能、高可用、可扩展的企业级推理体系，攻克复杂模型推理落地中的各类架构难题，支撑业务全场景模型高效上线； 2、负责推理框架模块的研发与优化，涵盖推理引擎调度、监控告警、灰度发布等能力，持续迭代框架性能，解决高并发、大模型推理场景下的性能瓶颈、资源瓶颈与稳定性问题； 3、跟进业界前沿推理技术，结合业务场景进行技术选型与技术创新，沉淀分布式高并发服务架构方案，推动团队技术体系升级与标准化建设。 【任职要求】 1、2027届获得本科及以上学历； 2、熟悉Linux基础命令，具有扎实的C/C++编程能力和数据结构与算法知识； 3、熟悉多线程并发基础原理，掌握线程使用、同步锁、线程池等基础用法，能够识别常见并发问题，具备多线程场景下基础性能调优能力； 4、具备高并发分布式服务的研发项目经验，熟悉服务的延迟与资源优化； 5、具备良好的学习能力和执行力，愿意主动了解模型推理服务架构，有问题分析和抽象能力； 6、具备良好的跨团队协作能力、沟通表达能力与文档撰写能力，有较强的责任心，能够推动复杂技术问题的解决与项目落地。 加分项 1、具备Redis、RocksDB、bRPC、gRPC等高并发服务/框架实际项目经验及源码了解； 2、了解GPU运行机制，有GPU服务资源管控、负载优化相关项目经验和优化能力。