岗位职责

1、承担数据平台项目独立实施。包括业务数据体系设计、数据建模、数据采集、ETL处理任务的设计和开发、数据服务配置等。

2、参与数据开发处理程序编写工作。包括Flink和Spark任务处理程序，涵盖数据清洗、计算、处理、统计和分析等功能。

3、参与数据平台系统的设计与开发工作。包括分布式数据仓库平台、海量数据批处理平台、实时数据处理平台、数据服务平台、数据资产平台等；

4、参与数据平台升级优化工作。包括各系统的性能分析与系统优化；

任职要求

1、具备实时处理框架的设计和开发能力，熟练掌握Flink大数据实时处理框架。

2、熟悉Spark、hadoop、hbase、hive、elastic search、yarn、K8s等相关技术。

3、熟悉Mysql、SqlServer、MongoDb、Redis、Doris等数据库，以及RabbitMq、Kafka等消息队列。

4、了解Hudi、Delta、Iceberg等其中一种数据湖技术。

5、有大数据模型训练和AI智能场景的设计开发经验者优先。