AI infra 实习生

1、利用算子优化，显存/KV cache管理优化、分布式加速等技术开发和改进推理框架； 2、协作高并发场景下大模型推理的性能分析优化工作，定位系统瓶颈并提出改进方案； 3、与团队协作，推动优化技术在业务中的应用。 【任职要求】 1、计算机、人工智能或相关专业本科/硕士/博士在读 2、熟练掌握 Python 和 C++，具备扎实的计算机系统基础（操作系统、计算机网络、CUDA 编程基础） 3、理解以下至少一个方向，并有相关代码经验或研究积累： （1）投机解码 ：熟悉 Draft-Target 模型协作机制 （2）显存池优化 ：熟悉 PagedAttention 原理，了解 Unified Memory等 （3）异构系统调度：了解如何在不同算力/显存的 GPU 之间进行负载均衡和流水线调度 （4）稀疏传输与压缩 ：熟悉 KV Cache 的稀疏性特征（如 H2O, StreamingLLM），了解量化传输策略 （5）序列预测：了解基于预测的预加载或预计算策略 加分项 ： 源码阅读经验：深入阅读过 SGLang, vLLM,源码，并提交过 PR 者优先 高性能网络经验：熟悉 RDMA (InfiniBand/RoCE)、NCCL 通信库或 Mooncake 传输层优化 学术成果：在系统或 AI 顶会（OSDI, ATC, SC, ICML, NeurIPS 等）有论文发表经历 你将获得： 充足的算力支持：直接操作 H200/H100/A800/4090 等硬件集群 有竞争力的实习薪资 论文一作或者共一机会