【岗位职责】
1. 负责根据产品需求设计和开发大数据处理流程，包括数据采集、清洗、转换、存储和分析。
2. 编写和优化数据处理代码，使用编程语言和工具（如SQL、JAVA、Python等）进行数据转换和计算。
3. 负责大数据生态组件（包含但不限于Spark/Hive/MapReduce, HDFS/HBase/ES, Flink)等系统性能改进、故障分析和解决。
4. 负责相关数据治理，包括数据质量监控和管理、数据ETL、元数据管理等。
5. 实施数据安全措施，保护敏感数据的隐私和安全，并确保数据的合规性。
【任职要求】
1. 有5年以上相关工作经验；
2. 熟悉大数据技术栈，如Hadoop、Flink、Spark等，并有相关实际项目经验；
3. 熟悉数据处理和分析工具，如SQL、Python、Scala等，能够编写高效的数据处理代码；
4. 熟练使用MySql、Clickhouse、Doris、hive等主流数据库的一种或多种，能够编写高效的存储过程；
5. 具备数据建模和数据库设计的能力，了解数据仓库和数据湖的概念和架构。
6. 具备良好的问题解决能力和调试技巧，能够快速定位和修复数据处理中的问题。
7. 具备团队合作和沟通能力，能够与数据相关技术人员密切合作，实现数据驱动的业务目标。
8. 有dataworks、finebi开发经验最佳