【基座大模型北斗实习】大模型训练研究

简介：大模型的能力上限，很大程度取决于训练系统的天花板。我们在做的事：让千亿参数的模型在万卡集群上跑得更快、更稳、更省——把每一张GPU的算力榨干，把每一次训练崩溃的损失降到最低，把工程师等待结果的时间从“几天”压到“几小时”。 1、分布式训练框架优化 ①深入源码，针对美团训练场景做定制化改造。 ②设计和实现更高效的张量并行、流水线并行、数据并行混合策略。 ③探索 MoE（混合专家） 模型的并行训练方案，解决专家负载均衡、通信爆炸等硬问题。 2、计算效率优化 ①基于 CUDA / Triton 编写和优化高性能算子（FlashAttention、FusedMLP等）。 ②分析训练 profiling 数据，定位计算/通信/内存的瓶颈并针对性优化。 ③推进混合精度训练、梯度压缩等技术落地。 【任职要求】 1、GPU编程：写过CUDA kernel，理解warp/SM/显存层次结构； 2、训练框架：用过或改过Megatron/DeepSpeed/FSDP，不只是跑过demo； 3、通信系统：了解NCCL原理，或有网络协议栈/RDMA相关经验； 4、编译优化：接触过 XLA/TorchInductor/TVM 等编译器，或做过IR优化； 5、顶会论文：MLSys/OSDI/SOSP/ATC/ISCA 等系统顶会在手。