AI 应用评测专家

【岗位概述】 主导垂类 AI 应用评测体系的设计与落地，定义模型能力，设计评测方法并构建专业评测集。具体包括： 主导垂类评测基准从 0 到 1 的建设 ：涵盖能力维度拆解、任务难度分级、数据集构造、评分标准制定等全流程，设计覆盖真实业务场景的评测任务，推动评测从"单点能力"向"真实工作流"演进。 构建 Agent 评测体系：设计面向复杂 Agent 场景的端到端评测方案，反映真实 Agentic 工作流。 跟踪前沿进展：跟进学术界与工业界在垂类与 Agent 评测方向的最新进展，提出评测方向演进策略的专业判断。 打通线上数据与评测管控闭环：建立线上数据回流与质量监控机制，将用户反馈与 BadCase 持续纳入评测体系，支撑模型效果的常态化监控与迭代。 跨团队协作与落地推动：与业务组、模型训练、工程团队紧密协作，将评测洞察转化为模型能力改进方向，推动评测基础设施与自动化评测流程建设。 职位要求 对垂类 AI 应用有深入理解和判断，能清晰阐述"什么是好的垂类能力"，并将其转化为可量化的评测维度。 具备从零设计 Benchmark 的完整经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡。 扎实的软件工程背景，具备中大型项目开发经验，能从一线用户/业务视角审视评测的合理性。 熟悉主流垂类评测集与 Agent 评测集的设计理念与局限性，了解 Agent 框架的核心机制与工具协议。 熟练掌握 Python，具备数据处理、统计分析与可视化能力；了解主流 LLM 推理服务的调用方式与工程约束。 优秀的沟通与推动能力，能与业务组、产品、运营、算法等多方高效协作，推动评测体系落地；具备优秀的技术写作能力，能撰写高质量评测报告与技术文档。 加分项 有垂类算法或产品经验； 有跨团队共建评测集、推动评测常态化落地的经验； 有评测平台/自动化跑测链路建设经验，或相关专利、论文产出。