职位详情
大数据开发工程师
1.6万-2万
软通动力信息技术(集团)股份有限公司
上海
3-5年
本科
11-08
工作地址

上海-黄浦区

职位描述
base地:上海、南京;
主要职责:
1、设计和开发高效的ETL(数据抽取、转换和加载)流程,确保数据的准确性和一致性。
2、参与大数据平台的架构设计和优化,提升数据处理性能。
3、处理海量数据,进行实时和批处理分析,支持业务需求。
4、利用华为云数据迁移工具搬迁数据仓库并进行数据核对。
5、承担数据治理模型设计。
任职资格:
至少3年大数据开发经验,熟悉大数据相关技术栈。
精通 Hadoop、Spark、Flink 等大数据处理框架。
熟悉 Kafka、HBase、Hive 等数据存储和消息队列系统。
熟练掌握 Java、Scala 或 Python 等编程语言。
具备良好的SQL优化能力,熟悉关系型数据库和NoSQL数据库。
有大规模数据处理和性能优化的经验。
具有良好的问题解决能力和团队合作精神,能在压力下工作。
优秀的沟通能力和书面表达能力。
熟悉华为大数据平台MRS、DataArt studio、Gaussdb(DWS)优先。
必备条件:具备大数据迁移经验。
华为上云迁移工作经验者优先。
大学本科以上学历。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请