工作职责:
- 使用现有开源的语言大模型(LLM)结合本地化数据集进行fine-tuning,以适应我们的业务场景。
- 本地化业务数据集的准备和处理:包括从业务场景中收集和准备训练数据,对数据进行清洗、标注和预处理,以及处理不平衡的数据分布等。
- 分析和理解业务需求,设计和实施相应的fine-tuning策略,以优化模型性能。
- 进行模型调优和性能优化,确保模型在生产环境中的高效运行。
- 协作团队中的数据科学家、研究人员和工程师,进行模型评估、验证和改进。
- 跟踪最新的语言模型(LLM)领域的研究和技术趋势,并推动其在项目中的应用。
职位要求:
- coding能力较强,能够快速理解团队需求
- 具备计算机科学、自然语言处理(NLP)、机器学习或相关领域的硕士或博士学位。
- 熟练掌握Python等编程语言,熟悉深度学习框架如TensorFlow、PyTorch等。
- 有实际的fine-tuning经验,能够根据业务需求设计和实施fine-tuning策略。
- 具备良好的问题解决能力和团队合作能力。
- 具备较强的沟通和表达能力,能够清晰地向非技术团队解释复杂的技术概念