大模型推理优化工程师

岗位职责：

1. 负责语言、视觉、多模态大模型推理框架的优化和维护，持续提升模型推理效率、提升并发能力、降低硬件资源占用；

2. 参与边缘侧AI计算框架设计和优化，能快速适配主流的GPU/NPU/DSP等芯片，实现千亿参数大模型的；

3. 参与大模型产品交付工作，提升模型部署效率和交付效率；

4. 参与大模型在国产化设备的优化。

岗位要求：

1. 国内外知名高校CS/EE/控制/数学相关专业本科及以上；3年以上工作经验

2. 熟练掌握C++和Python两种编程语言；

3. 熟悉FasterTransformer、vLLM、Triton、TGI、TensorRT、OnnxRuntime等推理框架或服务框架；

4. 熟悉NVIDIA、Atlas等硬件平台，了解边缘设备的AI模型推理的特点；

5. 对Transformer结构和常见的LLM和LVM的网络结构有基本了解；

6.一年以上GPU算法部署和优化相关工作经验。