AI训练数据与评测专家 - AI数据与安全

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 1、负责大语言模型在通用能力、生产力、多模态&世界模型、Coding&Agent等场景下的训练数据建设与模型评测工作，支持SFT、RL、偏好数据及专项能力数据的生产和迭代，深入理解不同业务场景及用户需求，设计训练数据方案和评估方案，包括数据挖掘、数据构造、清洗去重、标注规范制定、质量验收及评估集建设，分析训练数据的分布、覆盖度、多样性及质量问题，识别数据偏差、能力缺口和长尾场景，持续优化数据配比、生产策略和质量标准； 2、基于大语言模型的调用链路、检索结果、工具调用、模型回复及中间过程等信息，开展负面案例分析、错误定位与根因归类，判断问题来源于训练数据、模型能力、策略、检索或工程链路，结合模型实验结果，分析不同数据批次、数据类型及训练策略对模型效果的影响，闭环验证数据有效性，推动训练数据持续迭代； 3、设计并完善训练数据和模型评测的自动化流程，包括数据预处理、Prompt设计、数据合成、自动化打标、质量检查、结果聚类及分析报告生成等，提升数据生产和评估效率； 4、作为项目POC，与算法、产品、策略及数据团队紧密协作，负责需求澄清、方案设计、项目排期、资源协调、质量验收、风险管理及结果交付； 5、沉淀训练数据方法论、评估框架、错误分类体系、质量Rubric、项目SOP及分析模板，推动数据能力、评估标准和自动化工具复用。 【任职要求】 1、本科及以上学历，计算机、人工智能、数据科学、统计学、数学、语言学等相关专业优先，具备经济、金融、法律、医疗、教育等垂直行业背景者更佳，这类背景有助于更深入理解复杂专业场景下的数据生产与评测需求； 2、对大模型、AI应用、数据生产或模型评测有浓厚兴趣，愿意深入理解业务场景并推动问题解决； 3、具备良好的逻辑分析能力、结构化表达能力和跨团队沟通协作能力，能够把复杂问题拆解清楚并推动落地； 4、具备较强的AI意识，习惯将AI工具融入日常工作与学习，能够主动探索AI能力边界，并在实际场景中推动应用落地者优先； 5、具备较强的责任心、自驱力和学习能力，愿意在不确定性的发展环境中保持平常心，主动推动事情往前走，具备较强的适应能力； 6、有大模型、AIGC、多模态、Agent、代码生成、搜索问答等相关科研、竞赛或项目经历者优先。