职位描述
主要职责:
1.设计和开发高效的ETL(数据抽取、转换和加载)流程,确保数据的准确性和一致性。
2.参与大数据平台的架构设计和优化,提升数据处理性能。
3.处理海量数据,进行实时和批处理分析,支持业务需求利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
4.利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
5.承担数据治理模型设计。
任职资格:
1.至少3年大数据开发经验,熟悉大数据相关技术栈精通 Hadoop、Spark、Flink 等大数据处理框架。
2.熟悉 Kafka、HBase、Hive 等数据存储和消息队列系统。
3.熟练掌握 Java、Scala 或 Python 等编程语言。具备良好的SQL优化能力,熟悉关系型数据库和NoSQL数据库.
4.有大规模数据处理和性能优化的经验。
5.具有良好的问题解决能力和团队合作精神,能在压力下工作。
6.优秀的沟通能力和书面表达能力。
7.熟悉华为大数据平台MRS、DataArtstudio、Gaussdb(DWS)优先
8.必备条件:具备大数据迁移经验,
9.华为上云迁移工作经验者优先。
10.大学本科以上学历。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕