基础模型算法工程师

我们是谁 LLM 的推理成本始终制约着大模型能力的大规模应用，也影响着健康商业模式的形成。在不断提升模型智能上限之外，研发更低成本、更高效率的模型，是推动 AI 行业持续发展的关键技术方向。我们面向小红书核心业务场景，研发 Efficient & Economic LLM：从模型架构、参数规模、训练方法、解码范式和推理效率等多个层面入手，在保持业务所需智能水平的同时，大幅降低模型训练与推理成本，提高单位算力所能提供的智能密度。我们的目标不仅是做一个 更小、更快的模型，而是让高质量大模型能力真正能够规模化服务真实用户，推动大模型实现 Free Serving 亿级 C 端用户。在这里，你既可以参与模型底层技术研发，也可以直接看到模型被部署到 AI Agent、AI 搜索、搜索、推荐、广告等真实业务场景，并服务海量用户。 你将参与经济高效的LLM model研发，具体工作包括 - 高效率模型架构探索： 面向核心业务能力需求和主流 GPU 架构，探索更高效的模型结构、参数规模与解码范式。 - Pre-training 与模型压缩： 研究预训练、Mid-training、剪枝、Pre-training Distillation 等技术，提升单位参数与单位算力的模型能力。 - Post-training 与能力蒸馏： 研究 SFT、RL、OPD 等后训练与蒸馏技术，在更小模型规模下最大化能力保持。 - 业务落地与规模化应用： 将高效率模型应用于小红书 Agent、AI 搜索、传统搜索、推荐、广告等真实用户场景，并持续优化效果与成本。 【任职要求】 - 有大模型 Pre-training / Mid-training 经验，熟悉训练数据、模型结构、训练稳定性及大规模分布式训练； - 有 Knowledge Distillation / Pre-training Distillation / Model Compression / Pruning 等相关经验； - 有 SFT / RL / RLHF / OPD / Reward Modeling 等 Post-training 经验； - 有 MoE、Attention、Long Context、Speculative Decoding、并行解码或其他模型效率优化方向研究经验； - 熟悉 PyTorch，以及 Megatron-LM、DeepSpeed、FSDP、vLLM、SGLang 等训练或推理框架中的一种或多种； - 具备优秀的问题拆解、工程实现和快速实验迭代能力，能够在复杂真实业务场景中独立推动算法效果落地；