高级爬虫工程师

1、负责爬虫策略与方案制定，爬虫系统架构设计与开发； 2、负责网站、APP等大规模文本、图片数据抓取，爬虫核心算法优化，提升爬虫效率和质量； 3、进行多平台信息分析，参与企业数据建设。 【任职要求】 1、3年以上开发经验（爬虫），计算机相关专业优先； 2、有过爬虫平台化建设经验（0-1）优先； 3、至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；4、有分布式爬虫或熟悉app逆向、反编译经验者优先； 5、熟练掌握Python/Go/JavaScript等至少一种语言；熟练使用Go语言者优先； 6、熟悉HTTP、TCP等网络协议，精通httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术；掌握fiddler、charles等抓包工具； 7、熟悉Mysql、Nosql数据库设计，熟悉Redis技术和ElasticSearch；了解Hadoop、HBase、HDFS、Kafka等大数据相关知识。