大数据开发工程师-活水

岗位职责: 1、平台架构设计与演进： 负责设计和迭代公司核心SaaS数据平台的整体架构，确保其在多租户环境下的高可用性、可扩展性和安全性。 2、数据处理与存储核心： 设计统一的数据处理框架，支持批处理（Spark）、流处理（Flink）和增量计算等多种模式，并负责核心引擎的性能调优。 规划和设计平台的数据存储体系，包括数据湖（对象存储+列式格式）以及用于支持建模的图数据库、元数据存储等方案。 3、建模与查询服务： 设计将异构数据源映射为平台统一对象模型的技术方案，推动数据资产化进程。 构建联邦查询服务层，集成并优化Trino、Spark SQL等查询引擎，实现对底层多源数据的统一、高效查询。 设计并实现面向应用的API（如GraphQL），将平台的数据能力安全、高效地暴露给上层应用。 4、安全与治理框架： 主导设计平台的数据安全和权限治理体系，实现ABAC，支持行/列级别的精细化权限管理和数据血缘追踪。 确保平台所有数据操作的可审计性，并满足行业数据合规要求。 5、技术探索与赋能： 跟进业界前沿技术趋势，探索将AI/LLM等新兴技术与平台能力结合，以增强平台的智能化水平。 作为技术专家，为团队提供架构指导，参与解决复杂技术难题，推动团队整体技术水平的提升。 岗位要求： 1、5年以上大规模分布式系统设计与开发经验，对高并发、高可用架构有深入理解和实践。 精通至少一种主流大数据计算引擎（Apache Spark或Apache Flink），熟悉其内部原理、性能调优及在数据ETL/ELT中的应用。熟悉数据湖架构，有Parquet、ORC等列式存储格式的应用经验 2、理解知识图谱、语义技术或领域驱动设计（DDD）等建模思想。有分布式图数据库（如Neo4j, JanusGraph, NebulaGraph）的设计或使用经验者优先。 熟悉MPP查询引擎（如Trino/Presto）的原理与应用。有GraphQL API设计或数据服务开发经验者加分。 3、对数据安全体系有深入的认识，熟悉身份认证、权限控制等机制。 有实现或应用细粒度访问控制（如行/列级别安全）相关项目的经验。