蚂蚁集团-多模态理解及应用-多模态大模型评测-杭州/北京【AGI专项】

1. 评测体系设计与搭建: 负责设计和搭建业界领先的全模态（图文、音视频）大模型评测体系，建立科学、全面、高效的评测流程、标准和自动化平台。 2. 评测基准 (Benchmark) 建设: 主导全模态评测基准的建设，持续追踪和引入学界、业界最新成果，并结合业务场景，设计和构建能反映模型真实能力的评测数据集。 3. 核心能力度量: 深入研究全模态大模型的能力边界，设计创新性的评测方法和指标（Metrics），精准度量模型在跨模态理解、内容生成、多轮交互、逻辑推理、鲁棒性及安全性等维度的综合能力。 4. 技术落地与效率提升: 发挥强大的工程和动手能力，主导评测工具链和平台的开发与优化，实现评测流程的自动化和规模化，大幅提升评测效率和质量。 5. 跨团队协作: 与算法、工程、产品团队紧密合作，将评测结果有效转化为模型能力提升和用户体验优化的具体行动，共同打造顶尖的全模态AI产品。 【任职要求】 1. 学历背景: 计算机科学、人工智能、电子工程或相关领域的硕士及以上学历。 2. 专业经验: 3年以上在多模态学习、自然语言处理（NLP）、计算机视觉（CV）处理领域的算法研究和工程开发经验。 3. 工程能力: 具备出色的编程能力，精通 Python，并熟练掌握至少一种深度学习框架（如 PyTorch, TensorFlow）；具备很强的动手能力，能够独立完成评测系统的设计和开发。 4. 评测专长: 对大模型（特别是多模态大模型）的评测有深入的理解和丰富的实践经验，熟悉主流的图文、视频、语音评测基准和方法（如 MMBench, MMMU, V-Bench, SEED-Bench, Audio-Eval 等）。 5. 研究与分析能力: 具备优秀的分析和解决问题能力，能够独立设计实验、分析评测数据并形成有价值的结论和洞察。 6. 沟通与协作: 具备良好的团队合作精神和沟通能力，能够跨团队高效协作，推动复杂项目落地。