岗位职责：
系统规划与建设：
参与大数据相关系统的规划与建设，确保系统的可扩展性、高可用性和安全性。
设计和实现大数据平台，包括数据采集、存储、处理、分析和可视化等。
技术难题攻关：
负责攻克团队遇到的核心技术难题，确保项目的顺利进行。
对线上系统进行性能优化和稳定性提升，确保系统的高效运行。
运维与运营支持：
参与大数据系统的运维和运营支持，对线上突发问题进行及时响应和解决。
制定和实施大数据系统的运维和运营策略，确保系统的稳定运行。
代码编写与团队指导：
编写系统核心部分的代码，确保代码的质量和性能。
指导和培训工程师，提升团队的技术能力。
技术引领与创新：
持续关注行业发展动态，引领公司技术迭代和革新。
研究大数据的发展方向，包括大规模数据实时化、模型算子算法等。
技能要求：
技术栈掌握：
精通Hadoop、Spark、Flink等大数据处理框架。
熟悉Kafka、HBase、Hive等大数据存储和查询技术。
编程能力：
熟练掌握Java、Python等编程语言，能够编写高效、稳定的代码。
熟悉Linux操作系统和Shell脚本编程。
数据结构与算法：
具备扎实的数据结构和算法基础，能够解决复杂的数据处理问题。
数据挖掘与机器学习：
熟悉数据挖掘和机器学习算法，能够应用于实际项目中。
沟通能力与项目管理：
具备良好的沟通和团队合作能力，能够与业务部门和其他技术团队有效协作。
具备项目管理能力，能够制定项目计划、监控项目进度和确保项目质量。
任职资格：
学历背景：
本科及以上学历，计算机、数学、统计学等相关专业。
工作经验：
5年以上大数据相关领域的工作经验，有大型项目经验者优先。
证书要求：
可选持有高级大数据工程师证书，证明个人技能和经验。