大数据开发工程师(J14771)

1、负责从源系统到大数据平台的全量及增量数据同步方案设计与开发。 2、解决异构数据源的高并发、低延迟同步难题，确保数据的一致性与完整性。 3、针对小文件多、数据维度复杂等特点，优化同步策略，防止数据倾斜。 4、利用Shell/Python脚本编排复杂的任务，实现自动化运维、异常监控及告警机制。 5、对Spark/Hive SQL及Python脚本进行深度性能调优，解决大规模数据计算中的资源瓶颈。 6、沉淀通用的ETL组件与脚本库，提升团队开发效率。 【任职要求】 1.计算机相关专业本科以上学历，5年以上大数据开发经验。 有处理PB级数据、复杂ETL链路及大规模离线同步项目的成功案例。 2.精通 Python、Shell、Sql编写，能熟练进行数据的同步加工处理。 3、精通 Hadoop生态（HDFS, Hive, YARN），具备Spark任务调优经验。 4、精通主流数据同步工具，半导体行业经验优先。