大模型算法工程师（压缩与轻量化方向） - PICO

团队介绍：作为一家拥有自主创新和研发创造能力的科技品牌，PICO致力于成为领先的世界级XR平台，成就开发者与创作者，共同为全球消费者创造更美好的生活体验。我们开创性地将虚拟现实扩展到了多个领域，为运动、视频、娱乐等消费级场景带来了全新体验；并广泛应用在教育、医疗和企业培训等商用场景，给全球企业级用户提供了多元化的VR解决方案。 1、轻量化算法研发：主导大语言模型（LLM）及多模态模型的轻量化算法研究，包括量化（Quantization）、剪枝（Pruning）、稀疏化（Sparsity）与知识蒸馏（Knowledge Distillation），投机采样； 2、极低比特量化突破：设计并实现高效的后训练量化（PTQ）与量化感知训练（QAT）方案；深入探索低比特（INT8、INT4、FP8、NF4等）量化算法（如AWQ，GPTQ，SmoothQuant，OmniQuant等），在保证模型精度（Perplexity与下游任务准确率）的前提下逼近理论压缩极限； 3、结构精简与稀疏化：研究并落地基于Transformer架构的结构化/非结构化剪枝方案、层级丢弃（Layer Dropping）、注意力机制优化以及早期退出（Early Exit）机制，降低模型理论计算复杂度（FLOPs）； 4、知识蒸馏链路构建：设计从千亿级Teacher模型向轻量级Student模型转移知识的蒸馏体系，包括LoGits蒸馏、中间特征/注意力矩阵蒸馏，以及基于特定领域指令微调（SFT）数据的自蒸馏机制； 5、精度损失分析与对齐：构建完善的模型轻量化评测体系，能够快速定位在压缩过程中产生精度坍塌或能力退化的根本原因（如异常值Outliers分布分析），并提出针对性的算法补偿策略。 【任职要求】 1、获得硕士学位及以上，计算机、数学、人工智能或相关专业优先； 2、具备扎实的机器学习与数学理论基础；精通Python和PyTorch，能高效实现并复现复杂的深度学习算法； 3、深入理解Transformer架构的底层逻辑（Self-Attention，KV Cache，GQA/MQA，MoE机制，各类位置编码等）； 4、具备丰富的模型压缩实战经验，主导或深度参与过大参数量模型的压缩项目； 5、对主流的大模型量化算法原理及其数学推导有深刻理解，清楚不同量化方案在处理权重（Weight）和激活值（Activation）时的优劣与边界； 6、具备较强的Paper阅读能力与严谨的实验分析习惯，能够从数据分布、模型梯度的微观层面分析轻量化带来的影响。 加分项： 1、在AI会议（ICLR，ICML，NeurIPS，ACL，EMNLP等）发表过模型压缩、高效AI（Efficient Inference/TinyML）相关的高质量论文； 2、深入阅读并修改过业界知名模型压缩库的源码，或向bitsandbytes，AutoGPTQ，AutoAWQ，vLLM（量化模块），Neural Magic等开源项目贡献过代码； 3、熟悉Megatron-LM、DeepSpeed等分布式训练框架，有在多机多卡环境下进行大规模QAT（量化感知训练）或大规模知识蒸馏的实操经验； 4、了解GPU（CUDA）或NPU的底层访存与计算特性，了解W4A16、W8A8等量化算子的实际硬件加速瓶颈（Memory-bound vs Compute-bound），具备“算法-硬件”联合设计的意识。