岗位职责：
1、负责平台各类数据的爬取、接口调用接入，清洗、转换、融合入库以及数据处理性能调优等工作；
2、根据业务、产品和项目相关需求，负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作；
3、根据产品和项目需求，负责Python Web开发维护工作；
4、负责平台信息爬取和页面内容的提取分析，负责破解各类反爬机制；
5、负责网页的数据抓取和爬取链路优化，提升抓取能力；
岗位要求：
1、计算机、数学或统计等相关专业本科及以上学历，有亚马逊平台数据爬取经验；
2、了解web端相关技术，有web端开发经验者优先；
3、熟练掌握Python、SQL、ETL数据处理开发工作；熟悉掌握至少一种开源爬虫框架（scrapy、appium、selenium等）；
4、熟练使用Redis、MySQL、Mongo、ES等数据库工具进行数据处理开发和维护工作；
5、了解动态网页抓取、浏览器模拟抓取、APP抓取等技术，熟悉使用fiddler或其他抓包工具；
6、具备良好的编程习惯和逻辑思维能力；