【岗位职责】

1. 根据业务需求,负责大数据平台的技术选型和组件选型。

2. 开发大数据平台、基础数据服务和数据流处理的核心代码,构建敏捷开发流程,负责系统调试、集成和实施,解决实施过程中的技术难题,保证大数据产品平稳上线。

3. 负责大数据平台架构的持续优化,进行代码评审,根据业务变化主动优化数据架构,保证基础设施的高可用。

4. 制定各类故障的应急预案,具备故障预测和风险评估能力。

5. 深入研究大数据技术,跟进前沿技术动态。

6. 从数据层面提升产品和业务价值,发现数据问题并快速定位解决。

7. 重视系统设计、开发规范和运维,利用工具和流程进行数据质量管理和治理,保证高质量交付。

【职位要求】

1. 本科及以上学历,数学、计算机或相关专业,5年以上大数据相关工作经验。

2. 精通大数据技术栈,如Hadoop、Spark、Hive、HBase、ES、Flink等。

3. 掌握大数据系统架构、实时计算等核心知识,有数据仓库设计与落地经验。

4. 熟悉数据采集、数据提取和数据转换等过程,了解各种数据源。

5. 熟悉元数据、数据资产、数据治理、数据质量管理、数据安全等方法与工具,并有相应产品架构的落地经验。

6. 熟练使用Python、Java、SQL等编程语言,能够进行大数据平台的开发。

7. 熟练进行多维数据建模,如星型、雪花型等模型。

8. 具备良好的团队合作意识,优秀的沟通能力和执行力。

9. 学习能力强,具有高度的责任心,能承受工作压力。

10. 有基于大数据平台的数据挖掘、报表平台等上层应用设计经验。