爬虫工程师招聘简章

岗位职责：

1.负责爬虫和数据采集系统的维护与开发，包括内外部电商平台信息爬取及页面内容提取分析。

2.定期爬取指定网站数据，完成关键信息的数据抽取、清洗、去重、分析，并转换为业务需求格式。

3.研究和实现爬虫相关技术，如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制等。

4.负责公司爬虫核心算法及策略优化，熟悉数据采集系统调度策略。

5.设计爬虫策略和防屏蔽规则，提升网页抓取效率和质量。

6.负责现有爬虫的完善与维护，实时监控爬虫进度和警报反馈，提升系统稳定性、可扩展性和实用性。

岗位要求：

1.3年以上大型平台及海量数据爬取经验，如京东、淘宝、亚马逊等，能独立完成爬虫任务。

2.熟悉APP逆向、JS逆向、验证码破解、图像识别等技术，熟悉常用网络协议、数据存储和处理技术。

3.本科及以上学历，计算机或相关专业。

4.精通MySQL、Python 、Redis，掌握常见算法与数据结构，具备优秀的逻辑思维能力和编程能力，有数据库调优和海量数据存储经验优先。

5.熟悉HTTP/HTTPS原理，理解Cookie机制，能够进行请求抓包。

6.熟悉常见反爬机制及应对策略，有一定研究。

7.熟悉Linux系统环境、命令，能够编写Shell、Python脚本。

薪资待遇：

6k-10k/月。

福利待遇：

国家法定传统节日礼品礼券，带薪年休假，公司优秀员工旅游、培训。

休假：

国家法定节假日、周末双休。