主要职责：
1、设计和开发高效的ETL（数据抽取、转换和加载）流程，确保数据的准确性和一致性。
2、参与大数据平台的架构设计和优化，提升数据处理性能。
3、开发和维护大数据应用，确保系统的高可用性和可扩展性。
4、处理海量数据，进行实时和批处理分析，支持业务需求。
5、与数据科学家和业务团队合作，理解数据需求并提供技术支持。
6、编写和维护技术文档，确保知识的传递和积累。
任职资格：
至少5年大数据开发经验，熟悉大数据相关技术栈。
精通 Hadoop、Hive、Spark、Flink等大数据处理框架。
熟练掌握 Python 等编程语言。
具备良好的SQL优化能力，熟悉关系型数据库和NoSQL数据库。
有大规模数据处理和性能优化的经验。
具有良好的问题解决能力和团队合作精神。
优秀的沟通能力和书面表达能力。
大学本科以上学历。
优先考虑：
有云平台（如 AWS、Azure 或 Google Cloud）的大数据开发或迁移经验者优先
2、有DWS和PostgreSQL数据库相关经验者优先。
3. 有大数据开发和治理相关项目经验者优先。