岗位职责：
1. 数据采集与清洗：通过爬虫技术获取互联网和行业相关数据，处理海量数据的采集、清洗与存储。
2. 大数据处理：使用大数据技术（如Hadoop、Spark等）进行数据的分析与建模，构建数据仓库，优化数据流转。
3. ETL开发与维护：设计和优化ETL流程，确保数据从源头到分析的完整性和准确性。
4. 数据分析与挖掘：基于业务需求，运用机器学习/深度学习算法，进行数据建模、预测和挖掘，输出数据驱动的业务决策建议。
5. 数据可视化：设计数据可视化报表，提供清晰的决策支持。
岗位要求：
1. 熟悉Python爬虫框架（如Scrapy、BeautifulSoup等），具备数据采集与处理能力。
2.掌握Hadoop、Spark等大数据处理技术，具备海量数据处理经验。
3. 熟悉ETL流程，掌握SQL、数据仓库设计，有ETL项目开发经验。
4. 了解常用的机器学习/深度学习算法，熟练使用相关框架（如TensorFlow、Scikit-learn等），有模型开发与优化经验。
5. 精通Python、SQL，具备良好的代码规范和编程习惯。
6. 具备良好的数据敏感性和分析能力，能够从数据中提炼有价值的信息。