岗位职责:
1.负责参与公司大数据平台,设计和开发。
2. 负责数据模型的设计、搭建和优化,确保数据的质量和准确性。
3. 负责编写和维护高质量的代码,确保代码的可读性、可维护性和可扩展性。
4. 负责数据仓库和数据湖的建设和维护,包括数据抽取、转换和加载(ETL)。
5. 负责实时数据处理和分析,包括数据流的处理和实时报表的生成。
6. 负责监控和维护大数据平台的稳定性和性能,及时解决出现的问题。
7. 负责与业务部门和技术团队密切合作,理解业务需求并将其转化为技术方案。
8. 跟踪和研究大数据技术的最新进展,不断优化和完善大数据平台。
9. 参与制定和执行大数据团队的工作计划和目标,推动团队的持续改进和发展。
任职要求:
1. 本科及以上学历,大数据、计算机相关专业优先,3年及以上大数据开发、搭建数仓工作经验。
2. 精通常见数据库sql python 熟悉集群环境搭建,熟悉掌握大数据框架,包括但不限于 Hadoop、Spark、Flink等。
3. 熟练掌握至少一种主流的编程语言,如 Java、Python或 Scala。
4. 深入理解离线数仓和实时数据开发的概念和技术,包括但不限于 Hive、Presto、Kafka、Doris、ES等。
5. 具备较强的数据结构和算法能力,能够解决复杂的数据处理问题。
6. 具有良好的团队协作和沟通能力,能够与业务部门和技术团队有效沟通,有快速学习和适应新技术和工具的能力。
8. 具备数据敏感性和分析能力,能够从海量数据中提取有价值的信息。
9. 具备一定的项目管理和推进能力,能够独立负责项目的开发和实施。