千问事业部-AI 内容安全评测高级专家-北京

1. 评测体系架构设计：基于对内容安全法规、黑灰产攻击手法及大模型对抗原理的理解，构建覆盖全面、维度科学的安全评测指标体系。设计具有统计显著性的评测方法论，明确样本量计算逻辑、置信区间评估及误差控制标准，确保评测结论具备权威性与可复现性。 2. 基于训练机理的深度评测：深入理解 LLM 训练全流程（预训练数据污染、SFT 指令对齐、RLHF 奖励模型偏差），针对各阶段潜在的安全隐患设计专项评测方案。利用对模型机理的理解，设计对抗性测试用例，挖掘模型在长尾场景下的隐性安全风险。 3. 评测结论的权威化构建：建立评测结果的归因分析框架，能从模型结构、训练数据、对齐策略等技术维度解释“为什么模型会失效”，而非仅输出分数。负责撰写高质量的安全评测分析报告，提供具有公信力的安全水位证明。 4. 自动化与工具赋能：协同其它团队将评测方法论转化为自动化代码（Python），实现评测流程的标准化与规模化，但核心精力聚焦于评测逻辑设计与结论分析。 【任职要求】 1. 计算机、人工智能、网络安全、统计学等相关专业本科及以上学历； 2. 具备一定的内容安全风控经验，理解文本/图像/多模态内容的风险分类与分级标准； 3. 深入理解 Transformer 架构及大模型训练机制（Pre-training, SFT, RLHF），清楚知道数据分布、Prompt 注入、越狱攻击如何影响模型行为。有参与过大模型微调、红队测试（Red Teaming）或安全对齐项目者优先； 4. 具备极强的实验设计与统计分析能力，能独立设计对照实验验证评测指标的有效性，对“幸存者偏差”、“数据泄露”等科学问题有敏锐洞察。有构建过行业级评测基准（Benchmark）或发表过相关技术文章者优先； 5. 具备Python 阅读与编写能力，能理解评测代码逻辑并与工程团队高效协作。