大模型自动化评测实习生 - AI数据与安全

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、调研公开评测方法，并将公开评测集集成至内部平台； 2、探索智能、高效的模型自动化评估方案，制定搜索/医疗等垂类方向的自动评估方案，探索主观题目自动评估链路； 3、制定大模型评估在应用方向的评估标准，制定题库设计方案，制定评测标准，并对题库整体质量负责； 4、和产品研发、标注团队共同合作，分析评估中反映出负面案案例，制定下一步模型优化的策略。 【任职要求】 1、本科及以上学历在读，计算机科学与技术、软件工程、大数据技术，人工智能、智能科学与技术等专业优先； 2、英语六级，英语能力佳者优先； 3、有一定的SQL和Python能力，具备较强的程序开发、数据清洗能力，有运维背景优先，了解PE（提示工程），会搭Agent/Workflow； 4、具备大模型训练或模型评估经验，熟悉大模型评测方法，了解公开评估集的构建方式以及指标设定优先； 5、必须具备英文文献阅读能力，了解AI领域最近发表的论文，发表过计算机相关国际论文优先； 6、有责任心和较强的团队意识，对人工智能有较强的兴趣，具备优秀的沟通协调能力和团队协作意识，有项目管理经验优先。