任职要求：任职要求：合法合规 爬虫岗
1、熟练掌握python，掌握selenium、scrapy等爬虫相关框架；
2、掌握css、xpath、beautifulsoup4、re等页面解析语法；
3、深入理解TCP/IP、HTTP、以及各类WEB登录认证的机制；
4、精通JS防护、混淆、逆向分析等技能，具备较好的前端分析技能；
5、有过数据库调优和海量数据存储经验优先；
6、有社交平台或电商平台爬取经验者优先；
7、有海量代理IP池建设，复杂验证码识别经验；
8、熟悉各类HOOK框架包括但不限于frida、xposed；
9、工作积极主动、责任心强，具有较强的分析和解决问题的能力；
职责描述：
1.负责现有业务的维护及流程开发和实施。
2.研究爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、滑块验证等难点，提升网页抓取的效率和质量
3.负责爬虫平台的搭建，参与业务功能需求探讨，数据分析处理落地
4.平台调整比较频繁，能迅速响应电商平台变动做规则调整。
任职要求：
1.熟悉主流自动化框架，至少1年python经验,思维能力强，沟通能力好，自驱力强。
2.掌握selenium,DrissionPage优先，掌握requests，Beautifulsoup，熟悉正则表达式。
3.熟练常用数据库，ElasticSearch、MySQL，Redis等常规使用，有前端（html、JS、css等）基础。
4.熟悉HTTP传输协议，精通网页抓取原理和整合技术。
5.具有构建分布式爬虫系统的经验，具有海量高并发网页自动化爬取项目经验。
6.精通多线程，有丰富的反爬经验，具备一定的逆向分析能力，有钻研精神