职位要求：

1、熟悉主流数据库（oracle、mysql、hive、gbase）的数据开发工作及相关工具的使用；
2、善于运用存储过程、函数等方法批量处理数据，实现相关的业务需求；
3、熟悉Liunx/unix操作系统，并熟练编写shell脚本；
4、熟悉编写表、视图、存储过程等程序，性能问题及异常处理，保持程序的稳定性和健壮性；
5、熟悉多数据库间的数据同步方法及相关工具的使用；
6、熟练掌握Hadoop框架及技术，如SparkCore、Hbase、Hive、HDFS、Kudu、Impala、Yarn等;
7、熟悉大数据ETL工具及技术，如Sqoop、SparkStreaming、Kafka、Flink等；
8、熟悉大数据常用开发语言，如Java、Scala、Python等；
9、对Hadoop性能环境调优有深入了解；
10、大学本科；计算机、数学或计算机相关专业学历;
11、具有良好的沟通能力、较强的团队协作精神和责任心、能够承受一定压力、有较强的自我学习能力；
12、有大型Hadoop项目开发、实施经验者优先；有数据中台经验者优先；有gbase mpp数据库使用经验优先;

13、编程与框架掌握：
精通至少一种流式计算框架，如Apache Flink、Apache Storm或Kafka Streams等，并具备使用这些框架进行实时数据处理和分析的能力。
精通Java、Python或Scala等编程语言，并能编写高效、可维护的实时计算程序。
14、数据处理能力：
具备对大规模、高并发的数据流进行高效处理的能力，包括数据清洗、转换、聚合等操作。
熟悉常见的数据结构和算法，能够针对特定业务场景选择合适的数据处理策略。
15、系统设计与优化：
能够根据业务需求设计合理的实时计算系统架构，包括数据流设计、组件选型、资源分配等。
了解性能调优和故障排查的技巧，能够优化实时计算系统的性能和稳定性。
16、实时分析与建模：
具备使用流式计算进行实时数据分析和建模的能力，包括大跨度统计分析、时间序列分析、机器学习模型在线更新等。
能够根据业务需求设计并实现实时预警、监控和决策支持等功能。