大语言模型预训练与后训练工程师

岗位职责 1.参与大语言模型的预训练全流程研发，包括数据清洗与配比、训练策略设计、并行训练优化、训练稳定性与收敛性调优。 2.负责模型后训练技术体系建设，涵盖监督微调（SFT）、奖励模型训练、RLHF、DPO、ORPO、PPO 等对齐算法的实现与迭代。 3.设计并执行模型评测方案，从通用能力、垂直领域能力、安全性、对齐效果等维度量化模型性能，输出迭代方向。 4.跟进预训练与后训练方向前沿技术，持续引入新方法优化模型效果与训练效率。 5.配合工程团队完成训练流水线、数据管线的自动化与平台化建设。 任职要求 1.硕士及以上学历，计算机、人工智能等相关专业，1-2 年大模型训练或 NLP 算法研发经验。 2.精通 Transformer 架构原理与大语言模型训练流程，深入理解预训练目标、位置编码、归一化、注意力机制等核心组件。 3.具备完整的预训练或后训练项目经验，熟悉 SFT、RLHF、DPO 中至少一种对齐技术的原理与工程实现。 4.熟练使用 PyTorch，掌握 Megatron-LM、DeepSpeed、ColossalAI 等至少一种分布式训练框架，了解数据并行、张量并行、流水线并行等策略。 5.熟悉中文 / 英文预训练数据处理流程，具备数据去重、清洗、质量评估等实践经验。 6.具备较强的问题定位与调优能力，能独立排查训练中的收敛异常、显存与性能瓶颈。 加分项 •有百亿参数以上规模模型完整预训练或对齐训练经验。 •熟悉 FlashAttention、MoE、量化训练等性能优化技术。 •参与过开源大模型项目，或在相关领域有顶会论文 / 技术博客产出。