大数据平台开发工程师

岗位职责： 1. 平台全生命周期管理：负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制，保障系统稳定运行。 2. 资源效能优化：深度分析平台资源使用状况，通过性能调优、成本控制与资源动态调度策略，实现集群资源利用率提升。同时推动数据治理体系建设，保障数据质量、安全性及合规性。 工作内容： 1. 平台迭代与稳定性保障：负责数据平台核心模块（如分布式调度系统、元数据资产管理、异构数据集成平台等）的持续迭代 2. AI 技术深度融合：参与算法平台与 AI 基础服务的研发，构建智能化数据处理流水线，提升业务研发效率。 3. 智能化数据治理：利用 NLP、大模型 等 AI 技术实现数据治理自动化，降低人工成本，提升数据价值。 【任职要求】 基本要求： 1. Java 能力：精通 Java 核心编程，熟练使用 Spring Boot 等框架，具备系统架构设计和代码评审能力。 2. 分布式计算：熟悉 Hadoop/Spark/Flink 原理，熟悉其运行机制和体系结构。 3. 数据存储：熟练使用 MySQL、Elasticsearch 等存储引擎，能设计高效存储方案。 4. 工程与协作：遵循代码规范，具备测试和文档能力；擅长跨部门协作，推动项目落地。 5. 综合能力：数据敏感，逻辑分析能力强，能协调多方，探索前沿技术解决业务问题。 成长建议： 1. 从设计架构和代码实现的角度深入理解Hadoop大数据生态某一个技术组件; 2. 了解大数据在各个行业的产品和解决方案。