淘天集团 · 社会招聘
平台及用户产品事业部-评测运营-AI助手运营
杭州 ·3年以上·本科
杭州
薪资面议
前往 淘天集团 官网投递
职位描述
1、设计 AI 助手评测产品体系,覆盖大盘评估、策略迭代评估,建设自动化评估能力,让评估本身可规模化。
2、与产品和算法团队深度协作,把"产品质量"这种模糊的体感问题,拆解为可量化的指标体系与可执行的标注方案。
3、探索多模态场景下的评测方法,针对不同模态的特性设计差异化的评估框架。
4、推动评测结论真正落地——影响策略方向、影响产品决策、影响下一轮模型迭代。
【任职要求】
1、3年以内工作经验,有过完整的评测体系设计或搜索/推荐产品经验,理解 AI to C作为产品的核心逻辑与北极星。
2、理解 LLM 的能力边界与失败模式,对 AI 评测的自动化评估(含 LLM-as-a-Judge)、人机协同流程——有自己的判断和实践认知。
3、结构化思维强,能把含糊的质量诉求拆成可执行的指标树;具备跨团队协作的推动力,能让算法、产品、工程三方在同一套语言下对齐。
最后确认在招:2026-09-01 19:07:22 · 来源平台:alibaba