工作职责：

负责模型推理的实现，并确保其在端侧部署中的高效运行；

优化模型推理性能，处理内存管理、多线程编程等技术难点；

设计并实现与现有系统的接口集成，确保与其他组件的无缝通信；

调试并解决模型推理过程中出现的问题，并对代码进行单元测试和性能调优。



任职资格：

熟练使用C/C++、Python，具备3年以上的软件开发经验；

具备将Python代码转换为C++的经验，熟悉模型推理及其优化；

熟悉常见的C++编译器和构建工具链；

优秀的调试能力，能够快速定位并解决技术问题；

具备text-to-speech相关模型架构经验者优先；

具有良好的算法和数据结构基础，有一定的模型优化经验者优先；

熟悉LLaMA，llama.cpp，ggml等框架，有相关工程经验者优先；

有实际的CUDA开发经历、深度学习模型部署、优化及网络结构优化、内存优化经验加分。