端侧大模型推理优化工程师

1. 负责端侧大模型推理优化与部署落地，设计并实现终端侧模型部署方案，推进模型压缩、量化、裁剪及版本管理，支撑大模型在Android端与嵌入式设备的稳定运行； 2. 持续优化端侧推理框架与系统性能，围绕时延、吞吐、功耗及内存占用，建设Benchmark与Profiling体系，并协同产品与研发开展AI模块性能治理； 3. 研究端侧大模型轻量化与推理策略，探索不同模型架构在终端设备上的性能与资源消耗最优方案，推进LoRA/QLoRA微调、模型蒸馏及端侧适配技术的工程化落地。 【任职要求】 1. 计算机相关专业硕士及以上学历，具备 3 年以上 AI 或端侧推理优化相关经验；扎实的 C++ 与深度学习基础，熟悉 PyTorch 等主流框架； 2. 了解端侧大模型推理与部署技术，熟悉 llama.cpp、ONNX、NCNN、MNN、MLC‑LLM、Ollama 等至少一类或多类推理工具链； 3. 具备模型压缩、量化与推理优化相关经验，了解 GPTQ、AWQ、低比特量化（如 BitNet）、模型蒸馏以及 LoRA / QLoRA / PEFT 等参数高效微调方法； 4. 具备端侧性能优化经验，熟悉 Android 性能分析工具或 Native 开发，了解 NPU / GPU 异构加速技术（如 QNN/Hexagon、Vulkan、NNAPI） 及边缘设备部署； 5. 关注端侧推理前沿技术方向（如 Speculative Decoding、BitNet、NPU后端适配等），有端侧模型优化实践、开源贡献或相关研究成果者优先。