dots-AI infra

【训练推理框架研发】 大模型hi lab AI Infra团队专注于大语言模型领域的前沿技术研究和落地，提供高性能、高可靠、可扩展的机器学习系统、丰富的异构计算资源和极致的端到端的机器学习服务体验，为公司提供核心技术能力和服务。 1、负责机器学习框架的研究与开发，服务于公司各个产品； 2、高效部署，优化NLP/多模态大模型核心业务模型； 【轻量化】 机器学习系统团队需要将传统或者新型的轻量化算法和工程有机结合起来进行加速，提高大语言模型训练或者推理性能的同时，通过算法手段尽可能降低效果损失。候选人将在以下几个方向进行深入探索和落地： 1、量化方向：负责但不限于大语言模型的低精度训练(FP8)、推理（W8A8KV8等）、低精度优化器（量化梯度、优化器状态、参数等） 2、高性能模型结构：大语言模型Finetune或者其他阶段的LoRA系列（熟悉各种变种），训练阶段的MQA/GQA系列等 3、稀疏化方向：大语言模型剪枝、稀疏、蒸馏、Sparse Attention等 4、新型方向：Medusa、超长文本、Speculative Sampling等 【任职要求】 分布式 1、熟练掌握Linux环境下的C/C++、Python语言； 2、具备扎实的计算机科学功底和编程能力，熟悉常见算法和数据结构，具有良好的编程习惯； 3、能够熟练使用至少一种主流的机器学习框架(TensorFlow / PyTorch等)，熟悉框架内部实现； 4、熟悉Transformer模型及其应用场景等； 轻量化 1、拥有上述一个或多个方向的实际落地经验，能独立从头到尾完成上述某个方向 2、熟练使用主流大规模训练或推理引擎开发，例如DeepSpeed/Megatron/Transformer Engine等 3、两年以上工作经验，工程能力较强者优先，拥有实际Cuda算子开发经验者优先