职位描述
工作职责:
1、负责已有爬虫的运行维护,应对数据源的结构调整、访问
验证、IP屏蔽等问题;
2、负责已有爬虫的性能优化,例如:爬取策略、处理性能、
并发量等;
3、负责维护、重构、优化现有的selenium爬虫框架;
4、负责维护、优化现有的爬虫监控系统。
职位要求:
1、有2年以上python爬虫开发经验,会使用至少一种解析工
具(xpath、bs4、css、re等);
2、掌握二种以上开源爬虫框架(scrapy、selenium、pyppeteer等);
3、熟练使用mysql、redis、sqlserver等数据库;
4、熟悉动态网页抓取、浏览器模拟抓取,熟悉常见抓包工具;
5、熟悉常见反爬风控手段
6、有js逆向分析、反编译的能力优先;
7、有网站开发经验优先。
8、具有团队合作精神,有责任感,对工作认真负责,有较强的
协调和沟通能力;
职位福利:五险一金、年底双薪、绩效奖金、弹性工作、员工旅游、节日福利、周末双休
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕