大模型算法实习生

1. 参与端侧大模型架构设计、预训练、后训练、端侧部署和推理加速；目标为通过算法与硬件和芯片的协同设计，在较低的功耗和内存预算下，实现模型效果和推理效率的平衡。 2. 参与LLM在端侧场景下的继续预训练（CPT）、后训练（SFT, OPD, RL等）及量化感知训练（QAT），构建从数据清洗处理到模型部署落地的全链路pipeline。 3. 针对端侧芯片和内存特性，设计新型模型结构，探索参数共享与稀疏化方案。4. 参与模型压缩算法开发，如剪枝、量化、蒸馏等常用技术方案实现。实施低比特量化（如INT4/INT8），在保证精度的前提下压缩模型体积与显存占用。 5. 参与推理加速算法实现，如投机解码、MTP等。6. 前沿技术探索与成果产出，建立端侧大模型相关的创新壁垒，推动顶级会议论文与核心专利产出。 【任职要求】 1. 硕士及以上学历在读，人工智能、计算机科学、电子信息技术等相关专业，有python开发经验； 2. 深入掌握Transformer架构，熟悉各种神经网络结构及背后数学原理； 3. 具备以下至少一到两个方向的研究或实践经验：大语言模型、多模态大模型、大模型后训练、大模型预训练、强化学习； 4. 对端侧大模型有设计应用经验者优先；5. 在AI或NLP相关顶级会议，如 ICML / NeurIPS / ICLR / AAAI / ACL / CVPR / EMNLP 等发表论文者优先；