岗位职责：主要负责数据架构设计、数据建模、数据清洗、数据传输等方面的工作；
1、负责制定数据处理和业务个性化规范；

2、负责数据采集与清洗，从各种数据源收集数据，并进行清洗和预处理，以确保数据的质量和可用性，使用数据采集工具和清洗工具进行数据的提取、去重、修正错误；

3、负责数据仓库搭建与管理，设计和实施数据仓库，制定ETL（提取、转换、加载）相关的设计方案和开发计划。评估数据源的格式、访问方式和数据质量，并制定相应的数据抽取策略，确保数据在传输过程中保持一致性和完整性，并通过合理的设计优化数据存储和访问性能。

4、数据管道设计与维护构建和维护数据管道，确保数据能够高效地从源头传输到目标存储系统。设计和实施数据管道的各个环节，如提取、转换和加载数据，并解决数据管道中的复杂性和可扩展性问题。使用自动化工具和持续监控来优化数据流和处理流程，确保数据的实时性和准确性。

5、负责针对的业务数据抽取和DW、DM建模，负责ETL链路的开发与数据处理；
6、负责数据仓库数据标准、元数据管理的规划设计；
7、理解业务需求，负责数据采集、清洗、存储程序以及实时数据计算的开发以及相应优化工作；
8、参与需求分析、并完成需求设计相应文档的编写；
9、优化数据查询算法及数据库性能调优。

任职要求：
1、本科以上学历，计算机相关专业；
2、五年以上相关大数据开发工作经验，参与过大型数据处理项目，熟悉从数据收集、清洗、转换到存储和分析的整个流程；

3、精通SQL开发， MySQL、PostgreSQL、Oracle等关系型数据库，灵活运用SQL实现海量数据ETL加工处理；能够直接利用NoSQL ,GIS处理数据；
4、熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察Java、Python；
5、精通数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
6、精通hadoop/kafka/hive/spark/flink等大数据生态组件，熟悉其运行机制和体系结构；
7、有丰富数据清洗、指标开发经验，熟悉数据仓库模型设计与ETL开发经验，掌握维度建模设计方法，具备海量数据处理经验；具备数据仓库模型设计与ETL开发经验，掌握维度建模设计方法；
6、熟悉Linux系统处理命令，能够灵活运用shell做的文本处理和系统操作的优先;
7、具备大数据分析处理、机器学习建模分析的优先；

8、熟悉数据可视化工具，如Tableau、Power BI等，能够将复杂数据转化为直观的图表和报告；
9、逻辑思维能力强，对数据关系敏感，有较强的学习能力和创新思维；有良好的责任感，具备较强的问题分析和团队沟通协作能力