大模型与智能体安全——面向Agentic AI的攻防评估与可信安全防御（LLM Security）-安全与风控（北京/深圳）

团队介绍：我们团队牵头探索人工智能数据安全与隐私保护、联邦学习、安全多方计算（SMPC）、可信执行环境、差分隐私及同态加密等前沿网络安全技术。 我们开展尖端研究，致力于将新兴理论转化为数据与系统安全领域的实际应用方案。 通过开创安全计算与隐私保护的全新方法，为塑造可信数字创新的未来发挥重要作用。 课题介绍： 智能体应用在爆发式增长同时，也引入了新的安全挑战。包括数据、决策、执行、供应链在内的更大攻击面，及其错综的交互特点和复杂的基础设施，使得传统安全技术纷纷失效，智能体、数据、模型等资产面临着失控、失窃和受损的风险。 本课题旨在系统研究Agentic AI时代下大模型与智能体的攻防测试评估技术，以及基于大模型可信隐私计算的全链路防御体系，保障公司大模型业务的安全平稳发展，包括： 1、多模态大模型与智能体的攻防检测与评估方法、测试基准以及工具链； 2、面向智能体应用的风险防御技术以及可信安全运行保障技术； 3、大模型以及海量样本下的训练与推理技术，保障数据与模型资产安全； 4、面向大模型的机密训推基础设施安全构建、性能优化以及国产卡适配。 课题挑战： 智能体应用在爆发式增长同时，也引入了新的安全挑战。包括数据、决策、执行、供应链在内的更大攻击面，及其错综的交互特点和复杂的基础设施，使得传统安全技术纷纷失效，智能体、数据、模型等资产面临着失控、失窃和受损的风险。 本课题旨在系统研究Agentic AI时代下大模型与智能体的攻防测试评估技术，以及基于大模型可信隐私计算的全链路防御体系，保障公司大模型业务的安全平稳发展，包括： 1、多模态大模型与智能体的攻防检测与评估方法、测试基准以及工具链； 2、面向智能体应用的风险防御技术以及可信安全运行保障技术； 3、大模型以及海量样本下的训练与推理技术，保障数据与模型资产安全； 4、面向大模型的机密训推基础设施安全构建、性能优化以及国产卡适配。 课题价值： 1、技术价值： 1.1构建Agentic AI多模态安全评估基准与红队测试工具链； 1.2构建领先的大模型安全训练与推理算法、系统以及智能体安全可信防护能力。 2、业务价值： 2.1为智能体产品提供运行时安全防护能力以及可信可证的用户隐私保护措施，保障Flow等大模型和智能体产品安全运行； 2.2面向第三方算力环境提供安全可信的大模型数据与资产保护能力； 【任职要求】 1、2027届毕业，获得博士学位，人工智能、计算机、数学相关专业优先； 2、优秀的代码能力，有扎实的机器学习基础，在ICML/NeurIPS/ICLR等顶级会议上发表论文者优先； 3、具有个人维护的相关开源项目者优先； 4、出色的问题分析和解决能力，有自主探索解决方案的能力； 5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步； 6、出色的心理素质与应变能力，面对困难勇于迎接挑战，面对复杂局面沉着、冷静、灵活。