岗位职责:
1.负责大数据基础架构平台(Hadoop/hive/spark/kafka/presto/impala)的规划、部署、管理、扩容和优化,保障平台稳定可靠高效运行,深入调优Hadoop及其生态组件的各项参数,以提升集群性能
2.负责线上数据平台的运维,发现并解决性能瓶颈,支撑业务和数据量的快速增长,保障服务的稳定性和可用性;
3.研究大数据前沿技术,改进现有系统的运维架构,提升系统的运维效率,大数据计算方向的关键技术研究、难点攻克;
4.指导并解决团队成员技术问题;
任职要求:
1、具有5年以上大数据平台实施和(Hadoop/hive/spark/kafka/presto/impala)运维经验;
2、熟悉Hadoop生态系统核心组件的特点,丰富的Hadoop集群运维、故障解决、性能调优经验;
3.能够设计实时数据、离线数据处理架构并搭建实现框架;熟练使用Shell(必备)、精能Python或java;
4.深入理解系统安全及审计日志分析,有过自动化监控运维经验;
5、具备较好逻辑思维能力,有较强的抗压能力,对解决挑战性问题充满热情,善于解决问题和分析问题。
6、有大数据应用产品开发、数仓架构,相关建设工作优先。,