职位详情
大数据架构工程师 已下线
1.5万-2.5万
厦门众力行人力资源有限公司
厦门
10年以上
本科
11-14
工作地址

厦门市同安区人民政府

职位描述
岗位职责:
1、负责大数据平台的总体架构设计,确保平台具备良好的扩展性、可靠性和性能,支持海量数据处理和存储。
2、根据业务需求设计合理的数仓模型,进行数据表设计、关系映射和数据分区策略,确保数据的高效存储和访问。
3、设计和开发高效的ETL(Extract, Transform, Load)流程,处理和清洗结构化、半结构化和非结构化数据。
4、选择合适的分布式数据存储方案(如Hadoop、HBase、MongoDB、Doris等),并负责数据存储架构的设计和优化。
5、构建实时数据处理框架(如Flink、Spark Streaming等),确保实时数据流处理和分析的稳定性和高效性。
6、根据业务需求,设计高性能、高可用性和可扩展的系统架构。编写详细的架构文档,确保开发团队理解并遵循设计原则。
7、参与技术决策过程,提供技术方案和建议,确保技术方向符合公司战略。为开发团队提供技术指导和支持,解决开发过程中遇到的技术难题。
8、持续跟踪大数据相关技术的前沿动态,负责技术选型和架构优化,选择合适的大数据处理工具和框架,如Hadoop、Spark、Kafka等。并根据业务发展需求,提前做好技术准备。
9、根据业务需求,进行人才招聘、新员工培训,满足业务发展的需要。
10、负责组内成员的绩效评估和反馈,提升团队整体技术水平和工作效率。

任职要求:
1、统招本科及以上学历,计算机科学、软件工程、电子工程等相关专业。
2、至少10年以上研发经验,其中至少5年大数据架构经验,有成功的大数据架构案例。
3、熟练掌握Java、Scala或Python等编程语言,熟悉Shell脚本、SQL等数据操作语言,用于大数据处理和开发。
4、熟悉Hadoop生态系统、掌握Kafka的数据流处理、掌握Flink的实时数据处理,熟悉HBase、Doris、MongoDB、ES等NoSQL数据库的使用和优化。
5、熟悉数据仓库构建与管理,掌握数据仓库的设计方法论(如星型、雪花型模型);了解常见的数据建模工具,能够根据业务需求设计合理的模型。熟悉数据集成工具,能够设计高效的ETL流程,处理大规模数据的抽取、转换与加载。
6、业务理解能力强,善于前瞻性思考,有良好的技术规划、建模和决策能力,善于捕捉业务需求、架构设计问题,并给出有效的解决措施和方法。
7、极客精神,对新技术发展具有高度的敏锐度,能及时掌握市场发展动态,对公司技术发展能提供重要建议。
8、具有良好的团队合作精神、开放包容,善于听取不同的声音,结果导向、工作主动性强,有高度的责任心,带领团队拿结果,延迟满足。
9、有大厂工作经验或者创业经验,熟悉锂电、装备、汽车零部件、电子、半导体相关行业,熟悉离散型企业生产计划及业务流程特点优先。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

查看更多相似职位