岗位要求：
1.使用Linux常用命令，书写Shell启动分发等基础脚本,熟悉主流操作系统，数据库。
2.搭建Hadoop3.x集群，熟悉Hdfs读写流程，MR的Shuffle机制，Yarn的提交作业流程，进行MR的参数优化，解决常见的Hadoop小文件问题，数据倾斜问题 。
3.熟悉Hive的组件构成，进行Hive的优化，数据倾斜问题解决。
4.使用Flume组件，根据业务场景对Source，Channel，Sink进行选型，自定义拦截器，进行数据采集。
5.了解Kafka底层架构，了解分区策略，实现精准一次性消费，以及高效读写，生产中计算部署Kafka集群，解决一些kafka挂掉，数据重复。
6.Zookeeper的CAP机制，Zookeeper的选举机制，使用Zookeeper进行客户端编程。
7.使用Datax，能够利用它从业务数据库向HDFS导数据。
8.了解Maxwell的工作原理以及在实际场景中的应用。
9.Hbase的基本架构，读写流程
10.OLAP即席查询数据库Clickhouse，能够将数仓聚合数据导入其中。
11.了解可视化工具Superset，Sugar，能够进行生产中使用。
12.能够使用cdh部署，云服务器运维，使用阿里云进行大数据开发。了解阿里云服务器大数据处理平台。
13.熟悉网络部署，产品安装，软件调试
14.搭建过硬件集群
15.会做ETL，使用kettle
16.编写项目方案，推进项目实时
17.运维数据库以及维护生产系统
工作地点：呼和浩特市赛罕区腾飞南路40号