AI评测工程师

1、构建覆盖多场景、多模态、多任务的评测方法与指标体系；评测涵盖任务理解与规划、推理、指令遵循、多模态、长上下文及结构化输出等；通过评测支持产品优化，并完成问题定位与归因。 2、持续跟踪国内外 Agent、LLM 及多模态模型评测领域前沿，主导设计具有区分度、面向真实业务场景的 Benchmark，建立任务集、评测环境、评分标准及回归机制。 3、将评测洞察、失败案例及能力短板转化为高质量训练数据、产品优化方向和技术改进建议，驱动产品、Agent Harness 与基模能力的持续演进。 4、与算法、产品、工程、数据等团队协作，推动评测标准、能力准入及效果回归机制落地。 【任职要求】 1、本科及以上学历，计算机、数学、统计或相关专业优先。 2、3年以上相关工作经验，有 AI 产品、大模型、Agent 或智能助手领域背景。 3、对 Agent 技术方向有深入理解，熟悉主流 LLM/Agent Benchmark，能够独立判断评测方案的合理性、完整性与可落地性。 4、具备较强的产品理解和问题抽象能力，能够将用户场景与产品需求拆解为可评测的 Agent 能力指标。 5、具备数据分析与实验设计能力，能够独立完成评测方案设计、结果分析及结论输出。 6、有 Agent Harness、工具调用、工作流编排、多 Agent 协作或端云协同相关经验者优先。