AI平台工程师-评测基建

1、负责 AI评测平台的整体架构设计与核心功能开发，构建集评测任务调度、数据管理、标注平台、结果分析及可视化报表于一体的一站式评测系统。支持大规模评测任务的并发执行、异步处理和失败重试机制，保障平台稳定性。 2、参与构建评测数据生成引擎，利用大模型/Agent能力自动化生成评测脚本、评测数据集及对抗性测试用例；建设评测数据中台，实现多模态数据集（文本、图片、音频等）的版本管理、存储与检索。 3、参与开发基于 LLM-as-a-Judge 的自动化评测模块，将主观质量、安全性、逻辑一致性等软性指标转化为可配置的LLM裁判模型，并设计校验与校准机制保障评判准确性。 4、参与建设端到端Trace链路追踪与智能归因系统，对AI请求的全链路（用户输入→意图识别→模型推理→结果生成）进行埋点与透视，开发异常检测与自动归因分析能力，精准定位质量波动根因。 【任职要求】 1、本科及以上学历，计算机相关专业，5年以上后端或平台开发经验。 2、精通 Python/Java/Go 中至少一门语言，具备扎实的API设计与数据库设计能力。 3、熟悉分布式系统相关技术，有消息队列（Kafka/RabbitMQ等）、缓存（Redis等）、容器化部署（Docker/K8s）的实际应用经验。 4、对AI/大模型（LLM）有较深的开发或应用经验优先；有LLM-as-a-Judge、AI评测平台、MLOps平台建设经验者优先；能够积极敏捷的拥抱AI者优先。