岗位职责
1.负责蜘蛛系统开发与维护,包括采集系统,链接抽取系统,标题正文抽取,框架系统维护等;
2.负责服务端接口开发与维护,包括卡片引擎,整合引擎,站长平台后端接口,报表大屏后端接口等。
3.负责数据的ETL工作,负责数据收集,清理,发布等流程的构建和维护。
岗位要求
1.精通Python服务端开发,精通Flask, Django框架,熟悉使用其核心特性,编写高效代码;
2.熟悉Linux系统,熟悉shell编程,解决基本的数据统计分析问题;
3.熟悉Docker等容器类中间件,熟悉基于docker开发部署服务的流程;
4.熟悉github工具,了解Hadoop, Hbase, Spark等大数据平台为佳。
5.有良好的沟通交流能力,团队协作能力优秀。