AI大模型评估专家（生产力方向） - AI数据与安全

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 1、负责大语言模型生产力/Agent方向的评测工作，与产品研发协同迭代评估流程与标准，通过交付高质量的评测/众测报告，为模型优化和产品迭代提供牵引； 2、持续探索自动评估的思路与方法，搭建Agent-as-Judge自动评估体系，持续提升人机一致率，提高模型评估的吞吐量与效率； 3、从用户端到端体验和模型理想态出发，构建并迭代人工与自动评估题库，建立题库动态更新机制，推动评估与真实用户需求对齐； 4、深入拆解Agent复杂任务的多步执行链路，将端到端表现归因到模型能力vs工程harness，输出可支撑算法敏捷迭代与准出决策的结论。 【任职要求】 1、本科学历以上，人工智能、计算机、软件工程、数据科学等相关专业优先，有理工背景叠加办公/生产力场景理解者更佳； 2、AI生产力产品（编程、办公、数据分析、浏览器Agent等）的深度用户，清楚该场景下“什么是好的完成质量”以及常见失败模式； 3、熟练掌握提示词工程，能独立搭建Workflow/Agent，具备基础代码能力（能读写Python、看懂日志与Trace优先）； 4、理解或愿意快速掌握Agent评测方法论，有评测/标注/数据质量相关经验优先； 5、具备出色的项目管理能力，能与产品、研发、数据等多部门协同，对齐需求并推动多项任务高质高效交付； 6、对大模型与Agent有高度热情，拥有出色的逻辑思维与问题解决能力，沟通表达清晰，学习能力强，细心严谨，有责任心。