职位详情
高级数据工程师
1.9万-3.5万
曼迪匹艾(武汉)科技服务有限公司
武汉
1-3年
本科
08-14
工作地址

武汉恒隆广场办公楼54层

职位描述

一、主要职责
1.为Scilit数据库进行数据仓库的设计、开发、维护工作,推动数据工程技术栈革新,整合MDPI公司级数仓体系,构建丰富稳定的数据资产,推动Scilit的数据产品化;
2.协同相关方,将产品/数据分析/算法需求转化为数据工程需求,构建数据Pipeline和ETL任务,增进相关合作方的数据使用便利;
3.建立和提高数据模型的准确性、易用性、灵活性、可扩展性,提升查询效率,为可视化报表开发、数据分析、工程项目和算法开发等下游数据应用提供良好的数据条件;
4.承担大规模复杂指标的快速计算和维护任务,根据业务和数据分析需求,开发、仓储和维护分析表(宽表),优化其查询效率;
5.收集、清洗、整理Scilit数据,提升Scilit数据质量、数据可用性和数据效率,使得数据准确、一致、完整、有效、及时。搭建数据质量校验、报警、自动整理机制;
6.建立数据字典,将常用维度和指标的技术口径文档化。


二、职位要求
1.熟练运用书面和口语英语交流数仓技术,可以胜任同国际化团队协同工作;
2.计算机、信息技术、信息管理、数据管理、数据科学等相关专业本科及以上学历;
3.熟练使用数据工程工具,例如:
• SQL类工具,如MySQl和PostgreSQL等
• Python数据类工具:如pandas, polars, DuckDB, PyArrow, Great Expectation等
• Data Lake相关工具:Delta Like, Parquet, Amazon S3, Apache Iceberg等
• Airflow等数据调度工具
4.具备较好的维度建模方法论,独立负责过数仓架构设计和优化,熟练ETL、数仓分层、性能调优,了解MySQL数据库模型和数据结构;
5.熟悉一门或多门面向对象的编程语言:Python/Java/Scala/C++;
6.熟悉从数据生产到数据消费的全链路,具有将技术和优秀的业务理解相结合的能力,发掘机会、解决问题;
7.两年以上对口行业经验,优秀者工作年限可适当放宽;
8.逻辑清晰严谨,对数据敏感,跨团队协作能力、沟通能力强。


加分项:
• 熟悉以下技术:
* PHP Symfony
* 元数据管理,如DataHub
* 图数据库和图数据分析
* 其它:Apache Solr, Shell, Git
* Streamlit
* Docker
• 有学术出版、文献计量学和科学计量学、作者消歧等相关知识、技能和经验;
• 了解数据分析/机器学习/NLP,或有将数据分析/算法和业务洞察能力结合的经验。


三、工资待遇
1. 薪酬待遇:19K-35K;
2. 六险一金,周末双休,综合补贴,带薪年假,年度体检,节日福利,婚育红包,儿童福利,活动经费,下午茶等各种福利。


四、办公地点
武汉市硚口区京汉大道688号武汉恒隆广场办公楼54层


五、联系方式
求职者请提供中文简历。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请