岗位职责：
1. 使用hive、spark、flink等大数据组件进行大规模的计算任务
2. 负责数据ETL流程的设计与开发，包括数据的抽取、转换、加载和验证
3. 负责数据平台下大规模批量数据集成业务的计算任务设计与开发
4. 负责对数据集成及数据加工任务的性能和稳定性进行优化
5. 参与数据治理和质量管理，确保数据质量符合相关标准
技术要求：
1. 有 Hive、Spark、Datax、Flink、Kafka、MapReduce 等两种以上2年以上开发和优化经验；
2. 熟悉数据仓库建模理论，具备实际建模经验
3. 熟练掌握SQL语言， 能够独立进行需求沟通并进行需求方案设计与开发；
4. 熟悉Oracle和Mysql等关系型数据库，有postgresql、mongodb、doris或达梦等国产数据库使用经验；
5. 良好的团队合作精神以及严谨的逻辑思维；
6. 本科及以上学历，2年及以上大数据相关工作经验。