大模型架构算法工程师-深圳/上海

1. 面向前沿大模型架构，开展模型算法与核心算子的前瞻性研究与技术探索，关注混合注意力、MoE创新结构、推理框架及算子等方向的技术演进。 2. 深入分析主流及前沿大模型的架构设计、计算模式与核心算子，研究模型架构与底层计算之间的协同优化方法。 3. 针对前沿模型架构中的关键计算模块，开展算法、算子及计算模式的设计、实现与性能优化，探索高效的算子实现方案。 4. 跟踪业界最新论文、开源模型及相关技术进展，快速完成前沿算法的技术分析、原型验证与实验评估，并推动优秀方案落地。 5. 针对大模型训练与推理中的计算、访存、通信等性能瓶颈，分析其底层原因，探索算法与硬件协同优化方案。 6. 参与新型大模型架构及核心算子的 Benchmark、性能分析与优化工作，建立从模型算法到算子实现的完整技术分析能力。 7. 与模型算法、编译器、AI 芯片及系统软件等团队协同，推动前沿大模型算法在实际计算平台上的高效实现。 8. 持续沉淀前沿模型架构、算法及算子相关技术成果，形成技术方案、专利、论文或开源项目等产出。 【任职要求】 1. 计算机、人工智能、数学、电子信息、自动化等相关专业，硕士及以上学历。 2. 熟悉当前主流大模型的基本架构与算法原理，对 Transformer、Attention、MoE 等核心技术有较深入理解。 3. 熟悉大模型主要核心算子的实现原理，包括但不限于 Attention、GEMM、RMSNorm、RoPE、Softmax、MoE 等，能够理解其计算、访存及性能特征。 4. 具备较强的算法分析和工程实现能力，熟练掌握 Python，熟悉 PyTorch 等主流深度学习框架；具备 C/C++、CUDA、Triton/Tilelang/CuteDSL 或其他 GPU/NPU 算子开发经验者优先。 5. 具备较强的论文阅读和技术分析能力，能够快速理解并复现前沿大模型论文中的核心算法与技术方案。 6. 对大模型架构演进及底层计算优化具有浓厚兴趣，具备较强的技术敏感度和自主学习能力，能够主动发现问题并提出新的技术方向。 7. 具备良好的数学基础、算法基础和计算机系统基础，对计算复杂度、内存访问、并行计算等基本概念有较好理解。 8. 具备良好的沟通协作能力和技术攻坚能力，能够与算法、芯片、编译器及系统软件团队进行跨领域协作。