职位描述
工作内容:
1、迭代及维护数据采集、清洗、转换和加载流程,提高数据生产效率。
2、监控数据生产和接入过程中的异常情况,及时响应并解决问题。
3、负责数据生产过程相关算子部署及pipeline的构建。
岗位要求:
1、计算机相关专业本科及以上学历,3年以上Python开发经验。
2、熟练掌握Python语言,了解Python的常用框架和库,如Django、Flask、Pandas等。
3、熟悉Hadoop及其生态圈组件,包括但不限于HDFS、MapReduce、Spark等。
4、熟悉Linux操作系统,能够使用Shell脚本进行日常运维。
5、对数据库有深入的了解,如MySQL、MongoDB等,并能熟练使用SQL语言进行查询和操作。
6、有NLP项目或大数据项目开发经验优先考虑。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕