职位详情
大数据服务开发工程师
1.3-1.8万
河北鹏鹄信息科技有限公司
西安
3-5年
本科
03-13
工作地址

西安市-雁塔区-锦业一路1号北侧绿地·领海大厦B座2207

职位描述
岗位职责:
1.参与数据中台子模块的方案设计
2.负责子模块的相关方案详细的设计
3.负责大数据数据采集、数据计算所需相关的微服务的开发。
4.负责Hive、Iceberg、Hbase、Kafka、Doris、Mysql 与业务相关的工具或者接口的开发。
5.负责服务容器化,以及容器化管理API开发。

技能要求:
1. 本科及以上学历,3-5年大数据服务开发经验。
2.精通Java语言:深入理解Java核心概念,包括多线程、集合框架、JVM原理等,具备高性能、高并发系统的开发经验。
3. 精通Spring生态:熟练掌握SpringMVC、SpringBoot、SpringCloud及其相关组件(如Eureka、Zuul、Ribbon、Feign、Hystrix等),具备微服务架构的设计、开发及部署经验。
4. ORM框架与中间件:熟练使用MyBatis、Hibernate等ORM框架,熟悉Tomcat配置及优化,具备MQ(如RabbitMQ、RocketMQ)、Kafka等消息中间件的使用与调优经验。
5. 数据库与SQL:精通MySQL数据库,熟悉SQL优化、索引设计、事务处理,具备复杂SQL查询编写及性能调优能力。
6. 工作流与规则引擎:有Activiti、Camunda等工作流引擎的使用经验,熟悉Drools等规则引擎的应用场景与开发。
7. 容器化技术:熟悉Docker、Kubernetes等容器化技术,具备容器编排、服务部署、集群管理的实际经验。
8. 前端开发:熟悉Vue.js框架及其生态(如Vuex、Vue Router),熟练使用Element-UI等UI框架,具备前后端分离项目的开发经验。
9. 无状态服务设计:熟悉无状态服务的设计原则,具备RESTful API设计与开发经验,熟悉JWT、OAuth2等认证授权机制。
10. 单元测试与文档编写:具备单元测试开发能力,熟练使用JUnit、Mockito等测试框架,能够规范编写技术文档、API文档及开发文档。
11. 代码规范与开发标准:严格遵守代码规范,遵循主流开发标准(如阿里巴巴Java开发手册),具备良好的代码重构与优化能力。
12. 开发工具:熟练使用Git、Maven、SVN、Jenkins等开发工具,具备CI/CD流水线的搭建与维护经验。
13. 大数据技术:熟悉Hive SQL,具备大数据处理经验,熟悉常见的RDBS、HDFS、Hive、HBase、Kafka、Kafka Connect、Redis、MongoDB、IOTDB等大数据相关技术栈。
14. OLAP组件:熟悉Doris、Trino、StarRocks等OLAP组件,具备大数据分析、实时查询等场景的开发经验。
15. 数据同步工具:熟悉Flume、SeaTunnel、Canal、DataX等数据同步工具,具备数据采集、清洗、同步的实际项目经验。
16. 数据湖技术:熟悉Iceberg数据湖技术,具备数据湖架构设计与开发经验。
17.任务调度:熟悉DolphinScheduler等任务调度工具,具备任务编排、调度、监控的实际经验。
18. 系统设计能力:具备完整系统的详细方案设计能力,能够独立完成系统架构设计、技术选型及核心模块开发。
19. K8s集群运维:有Kubernetes集群的搭建、部署及运维经验,熟悉Ingress、Helm、Prometheus等K8s生态工。

查看更多职位描述

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请