dots-模型结构算法工程师

关于团队 我们是公司核心的 LLM 预训练团队，负责下一代基座模型的架构设计与训练系统研发。 团队聚焦： - Scaling Law - 优化器与训练稳定性 - 长上下文与推理能力扩展 - 高效训练与推理 - MoE 与稀疏化架构 我们关注的不只是"把模型做大"。我们更关注：什么样的结构、优化与训练机制，能够让模型更高效地产生智能。 你将参与的方向 1. Scaling Law 与能力扩展 研究模型能力如何随着以下维度共同演化： - 参数规模 - 数据规模 - Token 数量 - Inference Compute - Context Length 你将参与设计大规模实验，并分析不同结构与训练策略下的 scaling behavior。 2. 新型模型结构探索 探索 Transformer 之后的结构优化方向，包括但不限于： - MoE - Hybrid Attention - Retrieval-enhanced Architecture 以及：长上下文建模 / KV Cache 优化 / 推理效率优化 / 稀疏化与动态计算 我们希望找到：真正影响模型能力边界的结构，而不是参数堆叠。 3. 优化器与训练系统 研究超大模型训练中的优化与稳定性问题，包括： - AdamW / Muon / Sophia / Shampoo 等优化器探索 - 混合精度训练 - 大 Batch 训练 - 大规模训练异常分析 【任职要求】 我们希望你具备 基础要求 - 计算机 / 数学 / 物理等相关专业本科以上 - 扎实的 Python 能力，熟悉 PyTorch - 良好的机器学习与深度学习基础 加分项 数学 / 算法能力强：ACM / ICPC / NOI / IOI / 数学物理竞赛背景 / 强统计学与优化基础 有大模型训练经验：Pretraining / MoE / 长上下文训练 / 多模态训练 有系统与性能优化能力：有分布式训练或 CUDA / Triton 算子优化经验者优先 Research Taste（重点加分） - 喜欢研究 loss curve 与训练 dynamics - 对 emergent ability 有强烈好奇心 - 愿意做长期大规模实验 - 对"为什么有效"比"调出结果"更感兴趣