校招-大模型评估算法工程师

1. 评测体系搭建：负责大模型、多模态模型及Agent智能体全维度能力评测，覆盖推理、代码、对话、安全、RAG等核心场景，落地各类主流评测基准，搭建标准化评测体系。 2. 评测算法研发：设计自动化、智能化评测方案，研究落地LLM自动评测、事实校验、幻觉检测等核心算法，搭建量化指标体系，精准评估模型综合能力。 3. 评测工程落地：搭建自动化评测流程，完成评测数据构建、对抗测试、模型版本对比与回归验证，支撑模型微调、对齐迭代，输出专业的模型评测与诊断报告。 4. 模型迭代优化：复盘模型缺陷与失败案例，定位能力短板并输出优化建议，持续跟进行业前沿评测技术，迭代升级评测方法与工具。 5. 场景化评测落地：针对对话问答、智能Agent工具调用、任务规划等业务场景，定制专属评测方案，保障模型上线后的稳定性与落地效果。 【任职要求】 1. 学历：硕士及以上学历，计算机、人工智能、NLP、自动化、数学、统计等相关专业 2 扎实的深度学习与大模型基础：理解Transformer架构、预训练、微调、SFT、RLHF对齐、Agent基础架构等核心原理； 3. 精通大模型评测核心知识：熟悉主流评测数据集、量化指标、自动化评测方案，了解模型幻觉、鲁棒性、安全性评测方法； 4. 工程实操能力：熟练使用Python，掌握Pytorch、Hugging Face、LangChain等主流工具，能够独立完成数据处理、实验设计、评测脚本开发与结果分析； 5. 具备良好的算法思维，擅长拆解评测任务、设计对照实验、复盘分析模型问题。 加分项： 1. 熟悉LLM-as-judge、自动化对抗评测、模型对齐评估等前沿技术； 2. 有顶会论文、开源项目贡献、AI算法竞赛获奖经历优先。