大模型评测算法实习生

我们是专注于基座模型测评的团队，本职位承担模型基础能力与 Agent 能力相关的评测算法工作，探索前沿、科学的评测体系，驱动模型迭代与优化，职位描述： 根据模型迭代重点与业务需求，深度参与大模型的预训练、后训练的模型评测，设计并实现能够体现模型能力的评测集，包括多轮对话、长上下文、代码能力等； 挖掘与收集高质量数据，构建自动化、可扩展、可靠的评测流程，完善评测维度并分析评测结果，挖掘模型短板并进行有效分析，持续提升模型质量； 职位要求： 熟练掌握Pyhton，具有较强的工程能力与代码能力； 对大模型评测有一定热情与好奇心，愿意不断学习； 有责任心，有良好的沟通能力与团队合作能力 加分项： 对评测数据质量有严格标准与自己的见解，能够对评测集进行多轮审核与优化，确保评测集质量与稳定性； 有大模型评测经验，对评测数据的收集、整理，评测过程的合理性设计都有一定了解；