职位详情
数据开发工程师
1.5万-2.2万
上海优似腾软件开发有限公司
上海
3-5年
本科
10-21
工作地址

上海市浦东新区张江高科技园区长泰广场C座金科路2889弄3号

职位描述

• 开发后端管道,处理大量驱动数据,并为深度神经网络(DNN)训练生成数据集。
• 使用CICD在位于中国的数据中心部署数据管道。
• 在大规模环境下操作后端管道:监控进度、修复漏洞、进行重试等。
• 启用后端遥测数据收集,上传至数据湖,并构建分析仪表板。
• 与中国和美国自动驾驶车辆组织的其他团队合作。

资格要求

• 计算机科学或相关领域的学士/硕士学位。
• 在云环境或本地环境中构建生产级系统方面具有[3,6]年的相关工作经验。
• 精通Golang或Python中的至少一种编程语言。
• 工程卓越,具备优秀的设计抽象能力、API稳定性、单元测试、引领最佳实践供其他工程师遵循,并编写扎实的文档。
• 丰富的数据库经验:MySQL、PostgreSQL、数据湖。
• 监控生产环境的经验:指标、警报、仪表板、集成测试、金丝雀发布、各种持续集成(CI)和部署模式、日志聚合、一致的构建和部署。
• 具有Spark行业经验者将脱颖而出。
• 具有客户支持经验者优先。
• 良好的英语沟通能力。
• 必须为中国国籍(以便能够访问敏感的驱动数据)。

• Developing backend pipelines processing big drive data and generating datasets for DNN training.
• Performing data pipeline deployment to data centers in CN using CICD
• Operating backend pipelines at a large scale: monitoring progress, fixing bugs, performing retries, etc.
• Enabling backend telemetry collection, upload to a data lake, and building analytical dashboards
• Collaborating with other teams in Autonomous Vehicle organizations in CN and the US.

Qualifications
• BS/MS degree in Computer science or related areas.
• [3,6] years of relevant experience in building production-scale systems, in cloud/on-premises.
• Strong programming skills in one of Golang, Python
• Engineering excellence with good design abstractions, API stability, unit testing, leading best practices for other engineers to follow, and solid documentation.
• Solid DB experience: MySQL, PostgreSQL, data lakes.
• Experience with monitoring production environments: metrics, alarming, dashboards, integration tests, canaries, various CI and deployment patterns, log aggregation, consistent build and deployments
• Industry experience with Spark would be a standout factor
• Experience with customer support is a bonus
• Good English communication skills
• Chinese citizenship is required (to be able to access sensitive drive data)

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请