机器学习研究员（Agent评测与演进方向） - 火山方舟

团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 1、设计面向大语言模型Agent的评测体系，覆盖任务成功率、工具使用、推理质量和可靠性等维度； 2、构建Benchmark和自动化评测流水线，综合运用规则检查、模型评审和人工评审等方式； 3、分析Agent执行轨迹和用户反馈，识别典型失败模式，并将分析结果转化为具体的系统改进； 4、推动从经验数据到能力提升的闭环，与研究、平台和产品团队协作，将相关方法落地到生产环境。 【任职要求】 1、2027届获得硕士及以上学位，计算机科学、人工智能、机器学习、数据科学或相关专业优先； 2、具备扎实的机器学习和深度学习基础； 3、通过科研、实习或项目，对基于大语言模型的系统有实践经验，例如Agent、工具调用、检索或多Agent系统等； 4、具备扎实的Python编程能力，熟悉主流机器学习或Agent评测框架； 5、通过论文、重要项目、实习或开源贡献展现出较强的研究或工程能力。 加分项： 1、在机器学习或自然语言处理领域的顶级会议发表过论文，如NeurIPS、ICML、ICLR、ACL等；研究方向涉及Agent学习、自我改进、自演进、递归式自我改进（RSI）或Agent评测者优先； 2、具备评测方法相关经验，例如指标设计、基于模型的评审、数据标注或统计分析等； 3、熟悉大语言模型后训练、推理与规划方法或持续学习； 4、具备反馈驱动的优化闭环，或大规模日志及执行轨迹分析经验。