【职位描述】

1、进行需求分析，收集业务特定数据需求。

2、开发和维护数据管道，以实现数据提取、转换和复制到数据湖中。

3、使用Python、Scala和Spark验证数据格式和质量；清洗、丰富和转换数据。

4、使用Apache Airflow管理整个数据管道的编排。

5、参与数据建模，并协助形式化数据对象之间的关系。

6、支持测试、监控和数据治理活动。

7、与现场团队协作，确保项目顺利执行并遵守项目时间表。

工作时间：9:00-12:00, 13:00-18:00

节假日，周末双休。五险一金，出差有差旅补助，加班有加班费、餐补、车补。

【任职要求】

1、统招本科及以上学历，计算机相关专业；

2、编程基本功扎实，熟悉常用数据结构，熟悉Linux系统命令；

3、熟悉Java服务端程序开发，Python脚本程序开发；

4、熟悉Hadoop生态，包括但不限于Hadoop、Hbase、Hive、Spark、ElasticSearch、Azkaban、DataX、Logstash、Kibana；

5、熟悉数据仓库的建模，熟悉SQL，较为熟练使用相关工具进行ETL开发。

6、头脑灵活，善于独立思考以及总结提出问题。