LLM 数据合版负责人

核心职责 1. 模型能力抽象与数据需求定义 将 AI 小唯所需的能力拆解为可训练的能力维度（如：导购意图识别、商品理解与推荐、多轮对话、比价咨询、尺码建议、通用对话、安全合规等）； 针对每个能力维度，定义数据需求：需要什么样的样本、多少量、什么质量标准； 将产品的能力诉求 翻译为具体的数据建设方向； 持续跟踪模型在哪些能力上薄弱，反向指导数据补强 2. 数据合版规范建设 制定数据合版的标准规范：数据格式、字段定义、能力标签、质量分级、来源追踪； 定义不同能力数据的配比规则和浓度策略（如：业务数据 vs 通用数据的比例、各能力子集的采样权重）； 建立数据版本管理机制：每版数据的构成清单、变更记录、对应的模型版本和评测结果； 沉淀合版方法论，形成可复用的规范文档和操作手册 3. 数据质量控制 建立数据质量评估体系：指令多样性（embedding 聚类覆盖度）、回复质量（长度分布、IFD 指标）、格式规范性、拒答比例控制等； 数据清洗与去重：规则过滤、语义去重、低质量样本剔除； 数据质量分层：高质量样本与普通样本的权重区分，避免低质量数据稀释训练效果； 标注规则定义与验收：确保标注数据的准确率达标； 4. 数据消融实验 设计并执行消融实验：控制变量验证某类数据 / 某个配比对模型能力的影响； 通过小规模代理实验（小模型 + 短 token 预算 + 固定随机种子）快速验证数据配比方案； 分析能力间的相互影响：某类数据增加是否导致其他能力退化（如业务数据过多导致通用能力回退）； 基于实验结果迭代数据配比，找到当前模型规模下的最优 mixture； 5. 数据浓度配比优化 设计不同能力数据的混合配比方案：通用对话、导购专项、安全合规、代码工具等各维度的比例； 采用温度采样等策略平衡大数据集与小数据集，避免小数据集被压制； 针对不同训练阶段（SFT、RLHF/DPO）设计差异化的数据配比； 跟踪配比方案在训练后的效果，持续迭代优化 6. 评测准出与效果验证 与评测负责人协作，建立数据合版的评测准出标准：每版数据训练后必须通过哪些评测才能用于下一阶段； 建立分能力切片的评测体系，避免"总分上涨、关键能力下滑"； 跟踪数据版本与模型效果的对应关系，建立"数据-模型效果"的因果链路； 对标竞品的评测表现，反向指导数据合版方向 任职要求 硬性要求 1.学历：计算机、人工智能、数学、统计等相关专业本科及以上学历； 2.经验：3 年以上 AI/算法相关经验，其中至少 1 年大模型（LLM）数据工程或 SFT 相关经验； 3.大模型训练数据理解：熟悉 SFT、RLHF/DPO 的数据构造方法，理解数据质量、配比、顺序对模型能力的影响; 4.数据工程能力：熟练掌握 Python，熟悉大规模数据处理（Pandas、Spark、Ray 等），了解数据清洗、去重、质量评估的常用方法 5.实验设计能力：能设计严谨的消融实验，理解控制变量、随机种子、代理模型实验等方法论 加分项 1.有大模型 SFT 数据配比 / 数据合版的实际经验，做过数据消融实验; 2.有搜索 / 推荐 / 广告系统的数据工程经验（导购场景与这些领域更接近）; 3.熟悉 LLM 评测方法（指令遵循率、格式正确率、多轮一致性、人工偏好评估等）; 4.了解 DMT（双阶段混合微调）、课程学习等数据训练策略 5.有 Agent / 多轮对话 / RAG 相关的数据构造经验 软性能力 1.抽象能力：能把模糊的"模型能力需求"拆解为清晰的数据需求 2.判断力：能在数据取舍上做决策，知道什么数据该留、什么该删、该占多少比例 3.严谨性：数据合版是细致活，一个小错误可能污染整个训练集 4.协作能力：需要与训练团队、评测团队、产品团队多方协作