Agent效果评测工程师 - 开发者服务

团队介绍：字节跳动开发者服务团队负责公司研发工具与基础设施体系建设，为内部开发者提供覆盖全技术栈的框架、工具和研发体系能力，支撑业务高效稳定迭代。 在此基础上，团队正打造面向全场景的AI Agent平台，将大模型与公司内部工程知识深度结合，覆盖需求分析、编码开发、测试发布、运维治理等软件全生命周期，帮助ByteDancer显著提升生产力，重塑开发者服务的形态与体验。 期待对研发工具体系、AI工程生产力有热情、希望在大规模真实场景中打磨技术的同学加入，与我们一起建设新一代开发者基础设施，共同成长！ 1、评估体系建设：面向字节跳动软件工程研发真实场景，定义效果评估标准与验收准则，构建高仿真评测集，设计科学客观的量化指标体系，系统化开展效果评测； 2、效果洞察与归因：对齐业务目标，洞察高价值效果问题并进行根因分析，协同策略PM与算法推进效果闭环优化，放大产品业务价值； 3、自动化评测：建设自动评测与洞察分析能力，探索AI新技术落地，提升评测与归因效率，加速产品迭代； 4、技术前瞻：跟踪行业与技术趋势，引入新技术、新方法并在业务场景中验证应用。 【任职要求】 1、2027届获得本科及以上学历，计算机、人工智能、数学等相关专业； 2、有评测经验者优先，具备良好的工程架构设计与编码能力，精通Go/Python/Java中至少一种； 3、沟通表达能力强，具备好奇心、创新意识、自驱力与复杂问题解决能力； 4、对大模型与Agent有深入理解，熟悉主流LLM应用模式与评估框架，了解Agent架构（Multi-Agent、Context Engineering、ReAct）及协议（MCP、A2A、Function Call）； 5、加分项：具备Agent开发或复杂场景评测经验；有AI论文发表、大模型评测或训练经验。