职位详情
高级大数据工程师
1.2万-2.4万
晨砻信息科技有限公司
北京
3-5年
本科
12-24
工作地址

兰华国际-A座

职位描述
职责:
1、参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案;   
2、完成基于大数据平台的业务项目的开发、实施和维护工作;   
3、负责解决大数据平台建设过程中的技术难点和性能调优工作;   
4、参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;   5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计  
6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能  
7、对大数据技术及开源框架充满热情,具有钻研精神,能自我学习。
8、熟悉数据治理体系,具备数据治理体系实践经验者优先 。
9、具备大数据项目经理经验者优先考虑  
任职资格:  
1、具有3年开发经验,熟悉Spring生态,掌握Hibernate、Mybatis任意一种ORM框架,掌握Oracle、Mysql数据库等。   
2、具有2年以上的大数据开发经验,熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,熟悉CDH、HDP、TDH至少一款大数据产品,有从无到有建设大数据平台经验者优先;   
3、熟悉大数据组件的开发、搭建、维护以及性能优化;   
4、较强的开发能力,必须熟练使用相关开发语言(Java/Python/Scala/Shell等),熟悉大数据生态、关系数据库和NOSQL数据库、Linux等相关知识,能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;   
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等组件或技术,能阅读源码跟踪问题。  
6、熟练掌握Spark、flink任意一种计算框架,掌握MapReduce计算框架原理,并有实际项目开发经验。   
7、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件,熟练应用开发,必须熟悉复杂数据查询性能调优,包括实时查询和离线批处理查询,服务器和生态组件的参数优化。   
8、精通高级算法并有与业务结合落地优先;   

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请