字节跳动 社会招聘
AI Agent效果优化工程师-Aime
北京 ·经验不限·学历不限
北京
薪资面议
前往 字节跳动 官网投递
职位描述
1、深度参与Aime的场景落地与效果优化,以评测思想为指导,建立“发现问题-归因分析-策略调优-效果验证”的闭环,为Aime在各业务场景的最终效果负责;
2、基于复杂业务场景构建高覆盖、高区分度的评测数据集与验收标准,不仅定义模型/Agent的“好坏”,更要精准定位其在意图理解、任务规划、工具调用等环节的负面案例根因;
3、结合多样的效果衡量手段开展高频效果实验,通过精调Prompt、重构Workflow编排、优化RAG检索策略等方式实现复杂多任务场景性能指标快速提升;深入分析Agent产品日常运转效果,将提炼的优化结论直接转化为可落地的技术方案(如增强系统Prompt、优化API描述、增加容错逻辑等);
4、持续追踪并深度拆解行业主流Agent产品,开展横向效果对比,不仅评估优劣,更要敏锐洞察产品在效果优化上的底层逻辑与前沿玩法,将其转化为Aime的效果提升策略;
5、沉淀Agent场景效果优化方法论,主动发现当前效果衡量与调优手段的盲区,持续迭代评估标准与优化链路,推动团队Agent综合能力持续保持业内领先。
【任职要求】
1、硕士学位及以上,计算机、人工智能、软件工程等相关专业,有大模型/LLM/Agent开发/评测、Prompt Engineering、RAG效果优化、对话系统调优相关经验优先;
2、聪明、学习能力强,能快速理解复杂Agent逻辑与业务场景,具备的逻辑思维与问题归因(Root Cause Analysis)能力,主动思考远多于被动执行;
3、自驱和执行力,追结果、不设限,对高质量有执念,对疑难负面案例死磕到底;
4、具备扎实的评测集构建与数据分析能力,能从海量数据中敏锐捕捉共性问题,并具备直接动手调优(如改写Prompt、调整工作流参数等)解决真问题的能力;
5、具备出色的产品观察与分析感知,对AI Agent赛道的行业动态保持高度热情,能熟练拆解并“逆向工程”市面优秀Agent产品的效果实现机制,知其然更知其所以然;
6、熟悉主流大模型生态,有扎实的代码功底;有自动化评测工具开发、模型调用或API调试经验者优先。
官网发布:2026-02-27 · 最后确认在招:2026-09-03 19:35:21 · 来源平台:feishu