数据架构-数据湖与数据集成后端开发

1. 构建实时/离线数据采集与同步解决方案，支持跨数据库、数据仓库、数据湖的数据交互。优化数据传输性能，解决高并发、大数据量场景下的延迟与容错问题。设计数据一致性保障机制，处理数据冲突、断点续传、幂等性等核心问题，确保端到端数据质量。 2. 持续迭代数据集成解决方案的架构设计，支持容灾、出海等业务场景；优化架构设计，持续降低成本。 3. 研究前沿技术（如CDC、流批一体架构），推动数据同步技术在业务场景中的创新应用。 4. 构建高性能、高可用性数据湖引擎，参与美团数据湖引擎从0到1的落地与业务推广工作，持续提升系统性能和稳定性，降低成本。 5. 驱动数据湖的周边生态建设，包括实时/离线计算引擎，查询引擎，产品开发平台等生态，助力业务基于数据湖的解决方案落地。 6. 探索AI驱动的智能数据映射能力，基于大模型理解源表schema自动生成目标表映射规则，将数据集成配置从人工逐字段编排简化为AI辅助一键生成。 【任职要求】 1. 计算机相关专业本科及以上学历，2年以上数据集成与同步/大数据计算、存储引擎开发或数据湖相关工作经验。 2. 熟悉Java/C++编程语言，能够独立进行系统和工具开发。 3. 熟悉主流的大数据数据集成引擎和数据湖引擎，如Canal、DataX、Spark、Flink、Paimon等。 4. 熟悉分布式系统和大规模数据处理的设计和实现，具备高并发、高性能系统开发经验。 5. 具备良好沟通能力和问题解决能力，能够高效与系统上下游、业务方沟通协作。