工作职责：

1、根据公司业务需要，对指定信息源进行数据抓取；
2、研究和应对反爬策略，保证爬取的稳定性；
3、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
4、负责信息抽取、数据清洗等研发和优化工作；
5、负责抓取数据的解析入库，爬虫系统的监控和异常优化；

任职要求：

1、计算机及相关专业本科及以上学历
2、熟悉Python或者JAVA开发语言;
3、熟练掌握一种开源爬虫框架，如scrapy、webmagic，有研发爬虫框架经验者优先;
6、熟悉一种数据库;
7、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；