一、职位概述：
作为数据清洗治理部门的AI算法工程师，您的核心使命是推动数据清洗工作的智能化转型，通过开发和应用先进的AI技术，设计并训练高效的数据清洗模型，以自动化、精准化的方式替代传统的人工清洗过程（不规则数据中结构化数据），大幅提升数据处理的效率与质量，为企业的数据分析和业务决策提供强有力的支持。
二、主要职责：
1、AI数据清洗模型研发：
① 深入理解数据清洗的痛点与需求，设计符合业务场景的数据清洗模型架构。
② 利用机器学习、深度学习等AI技术，研发能够自动识别、修正和预测数据错误的算法模型。
③ 针对不同类型的数据问题（如缺失值、异常值、重复记录等），设计专门的清洗策略，并集成到模型中。
2、模型训练与优化：
① 收集并整理用于模型训练的数据集，确保数据集的多样性和代表性。
② 运用先进的训练技术和优化算法，对模型进行高效训练，提升模型的准确性和泛化能力。
③ 监控模型训练过程，定期评估模型性能，根据反馈进行模型调优，确保模型持续迭代升级。
3、自动化数据清洗流程构建：
① 将训练好的数据清洗模型集成到自动化数据处理流程中，实现数据的自动清洗、验证和输出。
② 设计并优化数据清洗流程，确保流程的顺畅运行和高效处理，减少人工干预。
③ 监控自动化流程的执行情况，及时发现并解决潜在问题，确保数据清洗的质量和稳定性。
4、数据治理框架构建：
① 参与制定和执行数据治理政策、流程和标准，确保数据从采集、存储、处理到使用的全生命周期管理符合企业规范及行业法规。
② 设计数据质量监控体系，包括设置数据质量指标（DQI）、建立数据质量报告机制，以及实施数据质量审计。
③ 利用AI技术提升数据治理效率，如自动化数据合规性检查、敏感数据识别与脱敏等。
④ 培训团队成员关于AI在数据清洗与治理中的应用，提升团队整体能力。
5、AI算法研发与优化：
① 深入研究并应用最新的机器学习、深度学习等AI技术于数据清洗与治理领域，开发高效的数据处理算法。
② 对现有算法进行性能评估与调优，提高数据处理速度和准确性。
三、任职要求：
1、计算机科学、统计学、数学或相关专业本科及以上学历。
2、精通Python、Java等至少一种编程语言，熟悉数据处理库（如Pandas、NumPy）及机器学习框架（如TensorFlow、PyTorch）。
3、具备扎实的机器学习、深度学习理论基础和实战经验，熟悉常见的数据清洗与治理算法。
4、优秀的问题解决能力和逻辑思维能力，能够独立分析和解决复杂的数据问题。
5、良好的团队合作精神和沟通能力，能够跨部门协作，推动项目进展。
6、对数据敏感，有高度的责任心和职业道德，注重数据安全和隐私保护。