腾讯 社会招聘
混元VLM 预训练数据算法工程师(北京/深圳/上海)
北京 ·一年以上工作经验·学历不限
北京
薪资面议
前往 腾讯 官网投递
职位描述
1.多模态数据体系构建:设计并实现 VLM 预训练数据的采集、清洗、标注全流程方案,涵盖通用图文对、OCR 数据、Visual Grounding/Counting 数据、3D 空间理解数据及视频时序数据等多类型数据,建立数据质量评估体系(如 CLIP 相似度过滤、标注一致性校验)。;
2.数据算法创新设计:研发多模态数据对齐算法,优化视觉 - 语言模态映射策略;设计高效数据增强方案,包括图像形变、文本扰动、跨模态混合增强等,提升模型鲁棒性与场景适应性;探索自动标注与数据合成技术(如 Grounding DINO 自动框标注、LLM 辅助问答生成),降低标注成本。;
3.预训练数据策略优化:结合 VLM 预训练目标(模态对齐、上下文学习、复杂推理),设计数据配比方案与训练数据筛选策略;迭代优化数据配方,解决数据冗余、分布偏差等问题,提升训练效率与模型效果。;
4.工程化落地与协作:搭建高吞吐率数据处理流水线,支持大规模多模态数据的并行处理与分布式训练适配;与模型训练团队协作,打通数据 - 训练 - 评测闭环,提供定制化数据解决方案;跟进 NVILA、InternVL 等前沿技术,推动数据算法的工程化落地。;
5.技术沉淀与创新:跟踪 VLM 领域数据相关前沿研究(如预训练数据设计、模态融合策略),主导技术攻关与专利申请;输出可复用的数据处理算法组件与技术文档,建立团队数据算法基准体系。
【任职要求】
1.计算机科学、人工智能、自动化等相关专业硕士及以上学历,1年以上多模态大模型或计算机视觉领域研发经验。;
2.扎实的算法基础:精通深度学习、计算机视觉与自然语言处理核心理论,深入理解 Transformer 架构、模态对齐原理及多模态预训练机制。;
3.工程能力突出:熟练掌握 Python 编程语言,精通 PyTorch 框架及 HuggingFace 生态,具备大规模数据处理(Spark/Flink)与分布式训练(DDP/FSDP/DeepSpeed)经验。;
4.数据处理实战经验:具备 VLM 预训练数据构建全流程经验,熟悉图像去重、图文匹配、自动标注、数据增强等关键技术,有亿级规模多模态数据集构建案例者优先。
最后确认在招:2026-09-03 23:15:16 · 来源平台:tencent