职位详情
大数据架构工程师
8千-1万
天津开明管理技术咨询有限公司
天津
1-3年
本科
01-01
工作地址

天津市河西区友谊北路广银大厦五层

职位描述

1.2年以上的大数据处理、数据挖掘等相关领域的科研/开发经验;熟悉分布式OLAP,有实际使用经验以及平台集群搭建,有实际项目经验优先;

2. 掌握分布式缓存、消息队列,对高并发、大流量系统性能优化有一定的经验;

3. 熟练运用MapReduce/Spark/Flink等其中一种大数据计算工具的编程;

4. 掌握java及WEB应用软件开发,了解软件开发流程,熟悉Linux平台,熟练运用Shell或Python脚本;

5. 了解常用算法,有推荐系统/知识图谱/反欺诈等算法工程应用的研发经验,熟练掌握大规模数据挖掘、机器学习者优先;

6. 熟练掌握Hadoop、Spark、Flink等大数据计算技术,并在中大型项目中有相关实际经验;

7. 熟练掌握presto、Spark
SQL、Drill等大数据即时查询技术,并有Trouble Shooting的实际经验;

8. 精通SQL,有较好的SQL性能调优经验,熟悉常用的SQL分析函数,有Postgres SQL数据库项目经验优先;


岗位职责:

1. 参与大数据应用相关产品的架构设计,从事大数据平台上数据挖掘产品的规划及研发;

2. 参与业务数据的结构化和存储架构设计,从事数据勘探、加工,主题库和数据提炼;

3. 从事大数据平台性能分析与系统优化,不断提高系统运行效率;

4. 参与数据仓库和大数据平台的环境搭建、架构设计、监控和优化;

5. 负责离线和在线数据的采集、清洗和加载;

6. 负责分布式批量数据处理、分布式内存计算、数据仓库OLAP类查询统计等离线计算;

7. 参与实时数据流的数据处理、查询统计和分析预测等在线计算;


职位福利: 五险一金、周末双休、带薪年假、节日福利

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请