蔚来AGI超星计划-基于多模态数据模拟和多模态表达的NOMI Mate具身交互控制研究

课题介绍 本课题属于机器人学与人机交互的交叉学科，主要研究在车载对话领域，构建基于语音、文本及图像/视频等多模态信息的情感化具身交互系统，实现对机器人头部动作、表情及TTS表达的实时控制，参与多模态理解与具身表达智能体的研发，推动机器人从“会说话”到“会表达”的系统化升级，打造业界一流的情感化AI交互控制系统 预期产出 - 交付具有创新性/前瞻性的研究报告、专利、期刊和论文； - 交付具备优秀落地效果的方案和算法应用。 【任职要求】 - 精通基础统计学习以及深度学习算法，精通常用模型架构包括但不限于Transformer、Diffusion、VAE以及Flow Matching等； - 熟悉强化学习或行为策略学习，包括但不限于RLHF、PPO、DPO、GRPO等； - 精通并有主流大模型的相关训练和使用工作经验； - 深入了解主流Agent框架和应用； - （加分）有机器人动作生成、多模态交互、情感计算等具身交互落地或科研经验； - （加分）有高水平论文发表者，或在国内外顶尖实验室或者模型团队经历； - 硕士及以上在读，实习时长6个月以上。