大模型评测工程架构实习生-Seed

日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE等超过50个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包App用户量在中国市场排名第一，豆包大模型日均Token调用量行业领先。 1、负责字节跳动大模型评估工程体系的建设，设计并实现评测的关键工程能力：任务编排与调度、分布式并发执行、环境隔离与可复现运行、失败重试与容错、资源治理与成本优化； 2、设计评估相应的平台、框架能力，支持多类型评测任务稳定运行：包含但不限于文本模型、多模态模型、Agent等； 3、负责建设面向评测场景的工程运行与验证体系（Engineering Harness），包括任务规范、执行编排、过程验证、结果校验、失败回放与评测审计等关键能力，保障Agent与模型评测任务可复现、可观测、可持续迭代。 【任职要求】 1、本科及以上学历在读，计算机科学、软件工程、人工智能、电子信息等相关专业优先； 2、对语言大模型、多模态大模型、智能代理Agent技术以及大模型的部署流程有基本的了解和认识； 3、具备熟练的Python/Go语言编程能力和良好的编程习惯和代码管理能力； 4、熟悉服务端基础技术，包括但不限于HDFS、Ray、消息队列等，能够高效地进行后端服务的开发与维护； 5、熟悉Coding Agent在Benchmark接入、案例生成、问题定位、评测开发等场景中的使用，并具备Engineering Harness系统设计能力，能够围绕验证、约束、观测、回放等机制搭建支持Agent稳定运行的评测工程体系。