职位描述
岗位内容:
1. 结合客户业务情况,出具大数据中台方向的概要和详细方案设计,并能针对方案优缺点进行有效的分析和建议
2. 配合业务同事,梳理业务现状,并对客户现行系统提出优化建议
2. 团队协作与沟通:能够与跨职能团队协作,包括数据工程师、数据科学家、开发人员和业务利益相关者;制作和维护技术文档,提供内部团队的培训和支持。
任职要求:
1. 深入了解并实施过Azure云的各种服务,包含Azure Databricks,Azure Data Factory,Azure Data Lake Storage,Azure synapse,Azure SQL Database,Azure Blob Storage等。
2. 深入理解Databricks架构: 包括工作区、集群管理、笔记本、作业调度、Databricks Runtime,UC特性等;掌握Delta Lake的使用,理解其特性如ACID事务、时间旅行、数据管理和优化。
3. 大数据技术:深入掌握Apache Spark,包括Spark SQL、Spark Streaming、Spark MLlib等;设计和优化数据管道,熟悉ETL流程。
4. 数据建模: 数据仓库、数据湖、湖仓一体(Data Lakehouse)等概念的理解与应用。
5. 开发脚本:熟练使用Python、Scala或SQL进行数据处理、分析和自动化。
6. 性能优化:配置和优化Databricks集群以提高性能和降低成本,优化Spark作业,减少计算时间和资源消耗
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕