模型综合评估运营实习生-大模型数据服务中心

日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：大模型数据服务中心，是抖音集团旗下为大模型业务提供数据、评估、运营等专业解决方案的团队； 主要承接大模型数据生产、大模型评估及运营相关的业务，与研发、产品等团队紧密合作，在预训练、数据监督微调、模型强化学习、模型能力评估、产品运营等大模型全链路数据环节，共同推动模型能力持续提升与应用。 1、负责评测集和评测体系维护：建设应用综合评测集，结合用户实际使用场景和使用体验，不断迭代评测集和评测体系，确保评测集长期有效、具代表性、能真实反映线上问题； 2、搭建自动评估和评估体系：熟练使用PE/扣子/Workflow等工具，实现评估数据的规模生成与筛选，协同不同专项团队完成自动评估系统搭建与优化； 3、负责问题发现、归因与策略闭环：基于测评结果、线上反馈与数据表现，识别关键问题，完成分层归因，输出可落地的优化策略并推动产品/算法/规则迭代形成闭环； 4、探索自动链路或Benchmark：调研公开文献、公开评测集、评估方法，参与自建评测集等探索类工作，优秀成果可以支持学术论文发表。 【任职要求】 1、本科及以上学历在读，计算机科学/数理/工程/人工智能等专业优先； 2、熟悉提示工程、Function Call、Agent等基础概念，具备Python代码能力者优先；有较好英文读写能力； 3、具备项目负责人经历，善于沟通，文档写作和数据分析，有过大模型或人工智能相关高质量论文发表或科研专利优先。