AI大模型评测产品实习生 - 火山方舟

团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 1、定义Coding质量标准，评审大模型在编码任务中生成的多个候选实现，从功能正确性、架构设计、代码质量、性能表现、可维护性及用户体验等维度判断方案优劣，沉淀“什么是优秀实现”的评价标准； 2、建设大模型评测体系，围绕真实开发场景设计具有挑战性和区分度的评测任务，制定清晰、可执行的验收标准与评分细则，客观衡量不同模型的能力水平； 3、分析模型能力与短板，对模型输出进行深入测试和归因分析，识别模型在需求理解、方案设计、代码实现、调试修复等环节的问题，为模型优化提供可解释、可落地的评测依据； 4、建设高质量训练与评测数据，参与Coding相关训练数据和评测数据的生产、合成、筛选与优化，并通过实验验证数据质量及其对模型效果的影响； 5、探索AI编程的新场景，跟踪Claude Code、Codex等前沿AI编程产品与技术进展，探索大模型在软件开发、游戏开发、交互应用等场景中的能力边界。 【任职要求】 1、本科及以上学历在读，计算机科学、软件工程、人工智能等其他相关专业优先； 2、具备扎实的编程基础，至少熟悉一个技术方向（前端/后端/移动端/Web3D&渲染/游戏开发均可）； 3、深度使用过Claude Code、Codex等AI编程工具，能够熟练运用AI完成需求分析、代码生成、调试和迭代； 4、对大语言模型及AI Coding有基础认知，能够客观分析模型生成结果的质量； 5、具备良好的逻辑分析、问题拆解和文字表达能力，能将主观体验转化为清晰可复用的评测标准； 6、认真负责，对代码及数据质量敏感，具备良好的沟通协作能力； 1）面试前请提交一道游戏开发场景的Coding评估题目：说明评估过程、不同模型的分数、强弱模型之间效果差异是什么。