大语言模型训练研究员

岗位职责： 1、参与大语言模型的预训练全流程研发，包括数据清洗与配比、训练策略设计、并行训练优化、训练稳定性与收敛性调优； 2、负责模型后训练技术体系建设，涵盖监督微调（SFT）、奖励模型训练、RLHF、DPO、ORPO、PPO 等对齐算法的实现与迭代； 3、设计并执行模型评测方案，从通用能力、垂直领域能力、安全性、对齐效果等维度量化模型性能，输出迭代方向； 4、跟进预训练与后训练方向前沿技术，持续引入新方法优化模型效果与训练效率； 5、配合工程团队完成训练流水线、数据管线的自动化与平台化建设。 岗位要求： 1、博士及以上学历，计算机、人工智能等相关专业，1-2 年大模型训练或 NLP 算法研发经验； 2、精通 Transformer 架构原理与大语言模型训练流程，深入理解预训练目标、位置编码、归一化、注意力机制等核心组件； 3、具备完整的预训练或后训练项目经验，熟悉 SFT、RLHF、DPO 中至少一种对齐技术的原理与工程实现； 4、熟练使用 PyTorch，掌握 Megatron-LM、DeepSpeed、ColossalAI 等至少一种分布式训练框架，了解数据并行、张量并行、流水线并行等策略； 5、熟悉中文 / 英文预训练数据处理流程，具备数据去重、清洗、质量评估等实践经验； 6、具备较强的问题定位与调优能力，能独立排查训练中的收敛异常、显存与性能瓶颈； 7、有百亿参数以上规模模型完整预训练或对齐训练经验优先； 8、熟悉 FlashAttention、MoE、量化训练等性能优化技术、参与过开源大模型项目，或在相关领域有顶会论文 / 技术博客产出优先。