fastllm性能优化秘籍：单卡推理DeepSeek 671B模型实战

【免费下载链接】fastllm 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 项目地址: https://gitcode.com/gh_mirrors/fa/fastllm

fastllm是一款纯C++实现的全平台LLM加速库，支持Python调用，能让ChatGLM-6B级模型在单卡上实现10000+token/s的推理速度，同时支持GLM、Llama、Moss等多种模型基座，甚至可在手机端流畅运行。本文将聚焦如何利用fastllm实现单卡高效推理DeepSeek 671B模型，分享实用的性能优化技巧。

一、DeepSeek 671B模型部署基础

DeepSeek是深度求索公司出品的模型，目前主要产品包括DeepSeek-V3和DeepSeek-R1，其中DeepSeek R1 671B是一款参数量巨大的模型。借助fastllm，任意显卡只需显存大于10G就可以支持单卡推理满血DeepSeek R1 671B模型。

1.1 模型获取与准备

可以通过以下命令下载DeepSeek模型：

ftllm download deepseek-ai/DeepSeek-R1

也可以使用fastllm格式的模型，例如fastllm/DeepSeek-V3-0324-INT4，若已有原始模型，可通过模型导出命令转换。

1.2 快速启动推理

使用以下命令可快速启动DeepSeek模型推理：

ftllm run fastllm/DeepSeek-V3-0324-INT4

若要启动WebUI界面，可执行：

ftllm webui fastllm/DeepSeek-V3-0324-INT4

二、单卡推理性能优化策略

2.1 量化技术应用

量化是提升单卡推理性能的关键手段之一。fastllm支持多种量化方式，以DeepSeek-V3模型为例，可通过以下命令导出不同量化类型的模型：

• 导出INT4量化模型：

ftllm export /mnt/DeepSeek-V3 -o /mnt/DeepSeek-V3-INT4 --dtype int4 -t 16

• 导出混合精度模型（主模型FP16，MOE部分INT4）：

ftllm export /mnt/DeepSeek-V3 -o /mnt/DeepSeek-V3-FP16INT4 --dtype float16 --moe_dtype int4 -t 16

采用INT4量化的DeepSeek R1 671B模型，在消费级单GPU（如4090）上可实现20+ tps的推理速度。

2.2 混合推理配置

混合推理是fastllm的一大特色，能充分利用不同硬件资源。对于DeepSeek-V3-0324-INT4模型，可尝试以下混合推理配置：

• GPU为主，CPU辅助MOE计算：

ftllm server fastllm/DeepSeek-V3-0324-INT4 --device cuda --moe_device cpu

• 多设备MOE分配，如指定部分MOE在GPU，部分在CPU：

ftllm server fastllm/DeepSeek-V3-0324-INT4 --device cuda --moe_device "{'cuda':1,'cpu':19}"

2.3 显存与并发优化

fastllm在版本更新中持续优化DeepSeek模型的显存使用，如减少Prefill时的显存消耗以支持更长上下文。在双路9004/9005服务器 + 单显卡部署场景下，DeepSeek R1 671B - FP8原版模型单并发速度可达20左右，INT4模型单并发速度可达30左右，最高并发速度可达60+。

可通过设置环境变量调整NUMA线程数，优化多CPU设备上的性能，例如：

export FASTLLM_NUMA_THREADS=27 && ftllm server fastllm/DeepSeek-V3-0324-INT4 --device cuda --moe_device numa -t 1 

三、实战案例与注意事项

3.1 单卡部署DeepSeek R1 671B

以消费级显卡为例，部署INT4量化的DeepSeek R1 671B模型，可通过以下步骤实现高效推理：

1. 下载模型：ftllm download deepseek-ai/DeepSeek-R1
2. 导出INT4模型：ftllm export /mnt/DeepSeek-R1 -o /mnt/DeepSeek-R1-INT4 --dtype int4 -t 16
3. 启动服务：ftllm server /mnt/DeepSeek-R1-INT4

3.2 关键参数调整

• --dtype：指定模型数据类型，如int4、float16等，影响性能和显存占用。
• --moe_device：配置MOE专家的计算设备，合理分配可提升并行效率。
• --cuda_se：DeepSeek模型中，默认使用CUDA执行共享专家，可通过--cuda_se false关闭。

四、总结

通过fastllm的量化技术、混合推理配置以及显存优化等策略，即使是参数量高达671B的DeepSeek R1模型，也能在单卡上实现高效推理。合理运用本文介绍的优化方法，可充分发挥硬件潜力，提升模型推理性能。更多详细内容可参考官方文档，如模型导出、DeepSeek模型部署等。

【免费下载链接】fastllm 纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行 项目地址: https://gitcode.com/gh_mirrors/fa/fastllm