大数据研发工程师(J16427)

1、数据湖仓平台建设 ：构建基于Iceberg/Hudi/Delta Lake的企业级数据湖仓平台，实现统一元数据管理、数据组织优化和存储成本控制； 2、流批一体计算架构 ：建设Spark/Flink/Trino流批一体计算引擎，支撑大规模数据处理与实时分析，确保数据一致性和时效性； 3、数据治理与质量保障 ：建立数据质量门禁体系、Schema Registry服务和OpenLineage数据血缘追踪，实现端到端数据可观测性和可追溯性； 4、系统性能与成本优化 ：在Kubernetes平台构建高可用架构，实施查询加速技术和分层存储策略，优化系统SLO和单位计算成本； 5、安全合规与工程效能 ：实现RBAC权限控制和数据脱敏机制，建设监控告警体系和自动化发布流水线，满足车规级合规要求。 【任职要求】 1、3 年以上大数据平台研发经验，精通 Python/Java/Go 其一，具备扎实的 SQL 与数据建模能力； 2、熟悉数据湖仓生态：熟练使用 Iceberg/Hudi 与 Parquet/ORC、分区/排序/文件大小治理等大数据湖仓生态组件； 3、掌握计算与消息中间件：如 Spark/Trino/Flink/Kafka/RabbitMQ；理解乱序处理、状态一致性等大数据处理特性； 4、了解云原生与存储：K8s、容器网络/资源配额；对象存储（S3/OSS）与成本优化策略（冷热分层、去重、生命周期）； 5、良好的跨团队协作与问题拆解能力，能以指标驱动交付质量与成本优化。 加分项： 1、有 OpenLineage/Atlas、Nessie/lakeFS、DVC 等血缘与版本分支实践； 2、有 StarRocks/ClickHouse/物化视图/向量检索的查询加速经验； 3、参与过自动驾驶数据闭环/样本挖掘/标注平台/评测回放等业务场景； 4、具备任务编排与工作流经验（Airflow/Argo/Luigi）与资源运营（Quota/调度/抢占）； 5、成本治理案例（存储成本/计算成本/单位 clip 成本下降）与 SLO 治理实践。