【基座大模型北斗实习】大模型架构研究

简介：大模型架构优化探索，算法工程协同设计，涉及到训练和推理的各类算法和工程策略探索落地。参与美团基座大模型项目，包含但不限于： 1、大模型高效架构设计探索（高效attention，moe架构等）。 2、预训练 / 后训练算法工程策略。 3、投机推理算法工程策略。 4、模型轻量化策略（剪枝，量化，稀疏，蒸馏，结构搜索等） 。 5、Agentic coding系统优化策略。 【任职要求】 1、熟悉一些常用的深度学习框架和大规模训推框架（比如megatron，verl，vllm，sglang等等），在大模型上有训练和推理算法工程优化实际经验的优先； 2、熟悉机器学习和深度学习理论，具备扎实的编程能力，熟悉常见的主流大模型架构； 3、有大模型或机器学习相关顶会论文发表，特别是模型架构优化，训推策略相关的算法或工程论文优先。