岗位职责:
1. 理解大数据项目相关的需求,参与平台软件产品需求分析、设计、开发和维护工作。
2. 负责数据的采集、预处理、实时分析、离线分析、数据优化等开发工作。
3. 参与产品开发重点、难点的技术攻关。
4. 负责软件开发相关文档的撰写和维护。
任职要求:
1. 具备扎实的计算机操作系统和网络基础知识,了解分布式系统的设计原理和实现方法,了解大数据生态的关键技术;
2. 熟悉Hadoop、Hive、HBase、Spark、Flink等大数据处理平台其中一种或多种;
3. 熟悉MySQL、PostgreSQL等关系型数据库,了解StarRocks、Clickhouse、HBase等KV数据库,精通SQL语言,能够进行SQL调优;
4. 熟练掌握Java/C++编程语言,具备扎实的数据结构基础知识,有良好的编程习惯;
5. 有工具平台产品开发经验者优先,包括数据集成、开发工具、调度工具、数据管理、维护监控等产品研发经验;
6. 有较强的学习能力,有良好的团队合作精神,善于沟通和交流。