岗位职责：
1、参与数据层建设，进行多平台、不同维度信息的抓取和分析；
2、设计爬虫策略和防屏蔽规则，实时监控爬虫的进度和预警处理，保障数据获取；
3、实现数据提取、清洗、结构化、入库、统计分析等需求
任职要求：
需要英语4级以上或有英语基础的（读写）
1、有从事网络爬虫、网页去重、网页信息抽取的经验。
2、从结构化的和非结构化的数据中获取信息，掌握正则表达式；精通一种开源爬虫框架，如scrapy、scrapy-redis、requests、selenium、puppeteer等。
3、熟悉各种反爬，如验证码、滑块、模拟登陆等，有能力破解账号限制/ip限制，解决IP封禁、参数加密、字体反爬、验证码、账号封禁等问题。
4、有独立的分布式爬虫项目开发经验(有大批量抓取linkedin\youtube\facebook经验优先)。
5、有平台模拟登录，一键自动发布图文经验优先（非必须）
包吃住、13薪