职位描述:
实时/批次数据分析方向,负责数据分析的设计和开发,为业务提供标准化高性能的特征计算,保障系统稳定和高可用。
1、为大规模数据分析系统设计和实现合理的数据系统;
2、设计和实现必要的机制和工具保障生产系统整体运行的稳定性;
3、基于流式计算框架等分布式系统为海量数据和大规模业务系统提供可靠的基础服务。
职位要求:
1、熟悉Java、Python等编程语言,有熟练的编码和问题分析能力;
2、对大数据系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先;
3、熟悉Clickhouse,有相关项目开发经验,了解表引擎者优先
4、熟悉常见消息队列原理和应用调优,有Kafka、MQ等项目源码阅读经验优先;
5、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验优先;
6、需要有数仓系统经验,Clickhouse、Doris等。