工作描述:
1.负责各类主流电商平台、短视频平台的数据抓取平台建设(偏工程方向)和维护;
2.负责爬虫自研基础工具和框架开发和维护,配合逆向开发同学解决爬虫遇到的各种反爬问题;
3. 负责爬虫数据的清洗,存储等大数据开发工作。
4.与项目经理、产品、下游团队等部门人员沟通,对外提供各种服务完成整体业务需求达成业务目标;
职位要求:
1. 计算机相关专业本科以上学历,3年以上Java编程经验;
2. 熟练掌握Java开发技术,基础扎实,熟悉Java技术体系(JVM、类装载机制、多线程并发、IO、网络等)
3. 了解常用开源爬虫技术框架,了解前端js技术。
4. 有大数据相关开发经验,有良好的数据建模能力,能熟练使用hive,sparksql。有odps等使用经验更佳。
5. 熟悉分布式和高并发系统的设计与开发,熟悉Mysql 、Memcache、Redis、消息队列、ES等常用组件的使用与调优;
6. 熟悉 Linux 环境下常用的系统工具,能利用工具排查 CPU、内存和网络 IO 等问题;
7. 积极乐观,责任心强,工作认真细致,具有良好的团队沟通与协作能力,抗压能力强,有较强的自我驱动能力。