资深爬虫工程师-数据平台(J17253)

1. 负责公司的爬虫平台建设与业务支撑； 2. 负责公司爬虫的技术调研以及策略优化； 3. 负责制定相关的反爬虫安全策略。 【任职要求】 1. 全日制本科及以上学历，计算机相关专业； 2. 掌握java或python编程语言，熟悉多线程编程，熟悉scrapy、pyspider、webmagic、nutch等其中一个或多个爬虫框架以及原理； 3. 熟悉网页抓取的原理和技术，精通正则表达式，熟悉网络协议及数据交换标准，能够快速解析各类结构化及非结构化数据； 4. 有redis、memcache、HBase、Lucene、Solr、ElasticSearch等相关使用经验的优先，有分布式爬虫系统的开发经验优先； 5. 有责任心，工作有计划性，有良好的学习能力，具备优秀的沟通能力和团队精神。