算法工程师-大模型预训练 (Pre-training)

1. 大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向test-time scaling的数据优化； 2. 新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law预测、超参优化； 3. 新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。 【任职要求】 1. 本科及以上学历，计算机科学、人工智能、机器学习能等相关专业优先； 2. 模型结构优化探索：MoE 优化、参数扩展与裁剪蒸馏、线性注意力、稀疏注意力、位置编码改进、多模态模型结构优化、动态计算优化、KV cache压缩、长序列优化、draft model 优化、decoding 加速等； 3. 训练优化理论与策略探索：训练稳定性优化、optimizer 优化、lr scheduler 优化、scaling law 预测、超参优化、预训练损失函数探索、遗忘对抗与持续学习、模型可解释性、课程学习等； 4. 具备独立思考能力和系统性研究思维，具备较强的动手能力，敢于挑战现有范式，能够独立应用技术解决复杂问题。