资深产品数据管理工程师-数据爬虫（北京）

岗位职责 1. 设计与开发数据采集/爬虫平台，保障稳定性、高可用与可扩展（调度、重试、监控、告警、数据回放）。 2. 负责多来源数据抓取、解析、清洗与入库，并持续优化性能、成功率与成本。 3. 采集能力要求：抓包分析接口链路与参数，协议还原；复现请求签名/加密逻辑，实现稳定自动化调用。 4. 设计与优化反风控采集策略（限流/会话/代理/指纹/动态参数等），提升对抗能力与可维护性。 5. 与产品/业务/数据团队协作抽象采集需求与数据口径，保证数据完整、准确、可追溯。 ### 任职要求 1. 精通 Python，熟悉 Scrapy/Requests/HTTPX 等，具备爬虫系统化架构经验 2. 熟悉 Linux、Docker，具有 Flask/FastAPI 等服务化能力 3. 熟悉网络与协议（HTTP/HTTPS、TLS、TCP/UDP），具备多线程/协程开发经验。 4. 熟悉 Playwright/Selenium 等自动化采集及 AJAX/WebSocket 等交互形态。 5. 熟练使用 Charles/Fiddler/Wireshark 等进行流量分析，能基于抓包结果还原接口逻辑与协议细节。 6. 具备签名算法/加密参数分析与复现能力（时间戳、nonce、HMAC/对称加密等常见模式），能稳定落地到采集代码。 7. 具备 App 逆向与协议还原经验（Android/iOS 静态/动态分析），能快速定位关键逻辑并验证。 8. 沟通协作与问题定位能力强，能在复杂场景下闭环解决。