Agent评测工程师 - 抖音研发中台

团队介绍：抖音研发中台团队主要负责抖音、剪映、今日头条、番茄小说、财经等产品的质量建设，面向质量、体验、安全提供全方位、深层次、高效的解决方案。 1、负责剪辑、创作、Coding Agent及产品的效果评测工作，基于评测结果进行分析与诊断，挖掘模型或Agent在推理、规划、工具调用、代码执行等环节的问题，并输出改进建议； 2、负责评测技术基建的建设工作，通过LLM Judge等多维度手段，提升评测的效率和自动化率； 3、参与业务评测体系的建设工作，包括评测标准，评测集，评估能力，评测结果分析与归因等系列核心能力建设，跟踪前沿评测技术与Benchmark趋势，开展技术调研与创新实践，推动评测体系升级。 【任职要求】 1、2027届获得本科及以上学历，计算机等相关专业； 2、热爱计算机科学和大模型技术，对大模型评测工作有浓厚兴趣； 3、对主流大模型的原理、能力边界及典型应用场景有较深入理解，熟悉大模型与Agent的常见评测方法； 4、扎实的数据结构和算法基础，熟悉至少一门编程语言，包括但不仅限于：Java、OC、C、C++、Python、Go、PHP； 5、快速适应和学习能力，善于发现和定位问题有强烈的求知欲、好奇心和进取心，能及时关注和学习业界最新技术，对解决挑战性问题充满激情； 6、对AI技术有持续的学习和实践，深度使用AI Coding等各类AI产品，并形成自己的应用范式。