岗位职责:
1、负责大数据迁移平台的数据质量检查和转换工作;
2、负责离线/实时的数据存储和加工处理,保证数据质量;
3、对数据敏感,基于海量数据进行业务分析,灵活运用可视化工具,参与产品与应用的数据研发,分析数据成因,发掘数据商业价值;
4、研究前沿技术,解决实际场景中的业务问题,优化离线/实时大数据计算任务的性能。
岗位要求:
1、本科及以上学历,计算机或统计专业优先:
2、熟悉Linux/Unix开发环境,精通python/shell两种以上;
3、6年以上数据仓库工作经验,有处理海量数据(>10TB)的相关经验,Hadoop实施及大数据批量处理经验者优先;
4、具备较强的独立工作能力和优化能力;
5、熟悉常用开源分布式系统,对Hadoop/Hive/Spark/Storm/kettle/kylin中的一项或多项有深入了解,能够独立排查及解决分布式系统的问题。
6、有实时计算开发经验者优先考虑;
7、精通SQL开发,熟悉数据库语言:doris、spark、impala、oracle、db2、mysql优先
8、具备较强编程能力、学习能力和抗压能力;
9、良好的团队精神和合作意识,强烈的责任心,对工作有激情,良好的沟通能力,能吃苦耐劳
10、具备良好的沟通技巧及团队工作意识,有较强责任感及进取精神。