大模型推理阶段Prefill-Attention-FFN分离场景下类GPU硬件架构-算法优化机制研究-阿里星/A Star

1. 本岗位聚焦于大模型推理阶段PAF（Prefill-Attention-FFN）分离架构下的软硬件协同优化。将深入底层，打破传统单一硬件视角的局限，通过跨层级建模与仿真，为下一代AI算力基础设施提供理论依据与技术支撑； 2. 构建PAF全链路负载特征基准： - 深入分析大模型推理中Prefill、Attention、FFN三个阶段的算子行为与数据流特征。 - 重点针对FFN阶段（占据参数量主体），建立独立于具体硬件的Workload特征模型，量化其对带宽、存储层级及计算密度的精确需求，填补业界在异构选型需求侧的空白。 3. 异构架构跨层次白盒化评估与建模： - 对比分析冯·诺依曼架构（通用/国产GPU）与新型存算一体架构（存内/近存计算）在FFN侧的性能表现。 - 从器件物理特性→电路阵列拓扑→微架构数据通路→算法映射策略四个层次，建立统一的跨层次对标评估模型。 - 通过晶体管级仿真等手段，确保模型的准确性，定位现有架构的效率边界与结构性瓶颈。 4. PAF异构系统协同机制研究与落地： - 研究FFN（类LPU承载）与Attention/Prefill（GPU承载）在异构执行时的数据流转路径、调度粒度及通信-计算重叠策略。 - 量化阶段间协同开销对端到端推理性能的影响，提出最优的异构调度方案。 - 输出系统性技术分析报告，直接指导集团AI芯片选型、系统架构演进及软硬件协同设计。 5. 前沿技术探索与生态贡献： - 将研究成果转化为高质量的技术专利、学术论文（目标ISCA/MICRO/HPCA等顶会）。 - 参与ROCm、MLIR等开源社区建设，推动阿里云在异构计算领域的标准制定与技术影响力。 【任职要求】 我们需要你具备扎实的体系结构基础和跨越软硬件边界的系统思维。以下能力满足任意2-3项即可，但我们更看重你的第一性原理思维和解决复杂工程问题的潜力。 1. 硬性背景 学历专业： 计算机科学与技术、电子工程、微电子、自动化等相关专业，2027年毕业的应届生。 基础知识： 精通计算机组成原理与体系结构，深刻理解CPU/GPU/NPU的微架构设计（如流水线、缓存一致性、内存层次结构）。 2. 专业技能（多选一或多选多） 【体系结构与编译器方向】 - 熟悉LLVM/SGLANG等编译框架，有GPU Kernel优化、算子融合、自动调优（Auto-tuning）实战经验。 - 熟练掌握CUDA/HIP编程模型，能深入理解Kernel执行机制与硬件资源映射关系。 加分项： 有vLLM、TensorRT-LLM等推理引擎底层优化经验者优先。 【硬件设计与仿真验证方向】 - 熟练使用Gem5、GPGPU-Sim、Verilator等模拟器进行微架构建模与性能分析。 加分项： 有存内计算（PIM）或专用加速器（DSA）架构设计经验者优先，对服务器系统以及超节点系统熟悉者优先。 【大模型系统与算法方向】 - 深入理解Transformer模型结构，熟悉PyTorch/TensorFlow底层机制。 - 对MoE（混合专家）、FlashAttention、PagedAttention等前沿优化技术有深入研究。 加分项： 有大规模分布式训练/推理系统调试经验者优先。 3. 核心素质（阿里星特质） - 极强的好奇心与钻研精神： 不满足于黑盒调用，喜欢追问“为什么慢”、“瓶颈在哪”，具备从现象挖掘本质问题的能力。 - 优秀的工程落地能力： 能将复杂的理论模型转化为可运行的代码或硬件描述语言，具备严谨的实验设计与数据分析能力。 - 跨界沟通协作力： 能够跨越硬件、软件、算法团队的认知鸿沟，清晰表达技术观点，推动跨领域项目进展。 4. 有强烈技术热情和好奇心，自驱力和学习力强；具备良好的分析与解决问题的能力、沟通以及团队合作能力；喜欢挑战性的技术研发工作，善于攻坚克难，有创新热情，积极乐观，坚韧抗压，结果导向，能够持续推动问题的解决和突破。 5. 掌握AI基础知识，掌握基础提示词工程，会使用Al专业工具，集成AI到个人工作流；有AI相关开发工具应用研发经验者优先，持有阿里云ACA/ACP/ACE认证证书者优先。