Token Foundry-大模型评估系统算法工程师-Qwen

1. 挖掘大模型弱点，持续快速构建覆盖各项模型能力的评测数据集，探索可靠、具有可扩展性的评测方案。 2. 参与 LLM-as-a-Judge 方案构建，训练 LLM Judge / Reward Model，建模人类偏好并提升长尾任务的评价准确性。 3. 参与 Reward System 构建，设计 Reward Signal、合成对应数据，并通过 RL提升模型的能力上限。 4. 参与开发 Evaluation、Reward System 所需工程框架，简化各类测试任务和模型集成流程，帮助提高团队效率。 【任职要求】 1. 学历与计算机、机器学习等方向相关，博士及硕士优先。 2. 了解 LLM Evaluation（评测方案与评测数据构建）或具有 Post-training（SFT、RL等）训练和数据合成经验。 3. 精通 Python 以及 Pytorch 等深度学习框架。 4. 熟悉 Transformer 架构以及大语言模型基础知识。 加分项： 1. 具有较强的代码工程能力。 2. 曾发表顶级会议论文并具有一定的学术影响力，包括但不限于 NeurIPS、ICLR、ICML、ACL等。 3. 拥有知名开源项目，在开源社区具有较好的影响力。