职位描述
岗位职责:
1.设计和构建可重用的数据资产,用于耐克中国数据湖。
2.预见、识别和解决数据管理方面的问题以提高数据质量。
3.大规模清理、准备和优化数据,以便摄入和使用。
4.使用工作流调度工具实现复杂的自动化工作流和例。
5.推动对其他数据工程师设计、代码、测试计划和数据集实施的协作审查,以支持数据工程标准的维护。
6.解决复杂问题,并进行根本原因分析,以主动解决产品和运营问题。
7.指导和培养其他数据工程师采用最佳实践。
任职要求:
1.5~8年在大数据平台上开发可扩展数据湖/数据仓库的经验。
2.必须具备良好的Python编程经验。
3.对Spark SQL/Hive SQL语言有深入的知识和经验,对Presto或其他MPP数据库有良好的了解。
4.对机器学习有良好的知识将很大的加分项。
5.对Airflow或其他数据仓库调度工具有良好的经验。
6.对AWS S3、EMR、Lambda和AWS组件或类似栈有良好的了解。
7.具备与产品和工程团队建立积极关系的强烈能力。
8.能够快速掌握新的编程语言、技术和框架。
9.有敏捷和Scrum开发过程中工作的经验。
10.流利的英语技能(包括口语和书面英语)。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕