数据采集开发工程师——web端/通用采集

岗位职责： 1、参与数据团队通用数据采集平台架构设计和开发工作，并确保该系统遵守robots协议等互联网信息抓取规范。 2、负责设计和开发分布式网络采集系统、技术选型。 3、持续对系统进行架构改造和优化，提升系统的稳定性与可扩展性，保障系统稳定，高效，安全。 岗位要求： 1、本科及以上学历，计算机相关专业。3年及以上web端内容采集（通用采集/广域采集）相关、采集平台、rpa相关开发经验。 2、熟练掌握Python编程语言及常用采集框架，深入了解框架提供的特性及其实现原理细节。 3、精通web端协议，熟悉账号池、IP账号池等技术，能够有效提升一般网页采集的效率和质量。 4、研究采集策略和防屏蔽规则，有深入研究过常见的人机校验等风控机制和原理；熟悉TLS指纹、协议分析、混淆还原、JS环境模拟等技术，以及各类加密算法，譬如（AES、RSA、Base64，Md5、SHA 系列等）。 5、具有良好的沟通能力、学习能力、分析解决问题能力，有较强的责任心、自驱力。 6、[加分项] 有长期规模化采集系统建设经验者优先。