Agent评测产品经理

1. 建设 Agent 评测体系：深入理解 Agent 在复杂真实场景下的能力边界，系统性构建涵盖多场景、多模态、多任务类型的评测方法论，将"效果好不好"转化为科学、可量化的能力度量体系。 2. Benchmark 研究与产出：持续跟踪国内外 Agent 评测领域前沿，主导设计具有挑战性与行业影响力的 Benchmark，推动在小米内外部建立影响力。 3. 数据驱动产品迭代：将评测洞察转化为高质量训练数据与产品优化方向，驱动产品与模型的持续演进。 4. 跨职能协同：作为评测方向的核心角色，与算法、产品、工程等多团队深度协作，以评测视角影响产品决策。 【任职要求】 1.基础要求 -本科及以上学历，计算机、数学、统计或相关专业优先 -5 年以上相关工作经验，有 AI 产品或大模型领域背景优先 -对 Agent 技术方向有深入理解，能够独立判断评测方案的合理性与完整性 2.加分项 -熟悉主流 LLM / Agent Benchmark，有独立研究或复现经验 -有评测数据集构建或训练数据标注体系设计的实际经验 -有车载、IoT、手机 AI 助手等 AI 场景的从业经历 3.素质要求 -有强烈的产品直觉，能在技术语言与用户场景之间自由切换 -主动性强，能在方向模糊的环境中自驱推进，有强目标感 -对 AI 能力边界保持好奇心，热衷于深究"模型为什么在这里失败"