大数据开发工程师

岗位职责： 1. 高性能计算与架构优化：参与或主导分布式计算引擎（如Spark、Flink）的研发与优化，提升大规模集群的稳定性与资源利用率，尤其是面向AI训练场景的算力优化。 2. AI数据底座建设：熟悉搭建EB级实时/离线大数据流水线，为上层AI应用（如AI Agent、大模型微调）提供高质量、稳定的数据支撑。这包括数据建模、ETL开发及全链路数据治理。 3. AI训练数据合成与治理：基于真实业务场景，开发并生成用于大模型微调的高质量训练数据集，如SFT（指令微调）、DPO（偏好对齐）、NL2SQL等数据，并建立数据质量评测与迭代体系。 4. AI与大数据技术融合：探索大模型与大数据系统的结合点，例如研发基于AI的自动索引推荐、智能查询优化等数据库自治功能，或开发自然语言生成SQL的智能交互方式。 任职资格： 编程语言：并熟练掌握 Python/Java/Scala 中的至少一种，精通 SQL，大数据生态：熟悉 Hadoop/Spark/Flink 生态，掌握 Hive、Kafka、HBase 等组件，了解数据湖技术（如Iceberg、Paimon）是加分项。AI基础：理解机器学习/深度学习基本流程，熟悉TensorFlow/PyTorch等框架，了解大模型训练与推理、RAG（检索增强生成）等概念。软实力：出色的业务理解能力、技术攻坚和跨团队协作能力。能独立完成从需求分析、数据模型设计到最终技术方案落地的全过程。