一. 模型简介

1. Qwen3.5-27B 是 Qwen 家族最新成员，不仅能陪你聊天，还能看懂图片！本次实操部署在 4 张 RTX 4090 -24GB 显卡上。二.环境准备

2.1 系统环境准备

首先是操作系统，由于cuda等兼容性问题，需要使用官方建议的系统型号版本。具体如下：

https://docs.nvidia.com/cuda/archive/12.9.0/cuda-installation-guide-linux/index.html

本次验证初始是 CentOS Linux 7，不在 CUDA 12.9 官方原生支持列表里，且在安装时确实遇到兼容性问题。遂更换系统为Ubuntu 24.04，本次部署升级cuda驱动版本为cuda13.0，

2.2 cuda硬件安装

Qwen3.5 模型部署使用 vLLM main branc，vLLM 现在的官方文档说明，当前默认二进制是按 CUDA 12.9 编译，CUDA 12.9 GA 对应的配套驱动看，Linux x86_64的NVIDIA的驱动版本要求是 >= 575.51.03。

 具体操作参照官方文档：https://docs.nvidia.com/cuda/

sudo apt update
sudo apt search nvidia-driver-580
sudo apt install -y nvidia-driver-580

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt update
sudo apt install -y nvidia-container-toolkit
sudo reboot

重启后使用以下命令检查驱动是否安装成功。

nvidia-smi

三.部署模型

3.1 安装安装 Docker

vLLM 以容器方式运行，需要安装 Docker。由于上一阶段已经安装了 NVIDIA Container Toolkit，这一步只需要安装 Docker 并把 nvidia runtime 配置到 Docker 中即可。

curl -fsSL https://get.docker.com | sh
sudo systemctl enable --now docker
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

安装完成后，先验证 Docker 和 GPU 透传是否正常。

sudo docker run --rm --gpus all nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi

3.2下载模型，下载模型比较慢，建议可提前下载好。（本次下载两个小时）

git lfs instal
git clone https://huggingface.co/Qwen/Qwen3.5-27B .

3.2 下载vllm

docker pull docker.m.daocloud.io/vllm/vllm-openai:latest

这里注意，docker需要共享GPU资源，安装NVIDIA Container Toolkit可实现。

3.3 部署启动模型

docker run -d \
    --name qwen35-27b \
    --restart always \
    --gpus all \
    --ipc=host \
    --shm-size=32g \
    -p 8000:8000 \
    -v /4tssd/volumes/xinference/Qwen3.5-27B:/models/Qwen3.5-27B \
    docker.m.daocloud.io/vllm/vllm-openai:latest \
    --model /models/Qwen3.5-27B \
    --served-model-name Qwen3.5-27B \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.90 \
    --max-model-len 40960 \
    --max-num-seqs 10 \
    --trust-remote-code

注意显存溢出时，可以调整以下几个参数进行调试验证，启动之后需要等模型热启动，开始会很慢，几分钟后就输出很快了。

    --gpu-memory-utilization 0.90   ：显存使用率控制为 90%，保留一定余量，降低 OOM 风险。
    --max-model-len 40960 ：将上下文长度设为 40960，需要更多 KV Cache，因此对显存压力较高。
    --max-num-seqs 10 ：并发序列数设置为 10，是相对保守的值，更适合 4 x 24GiB 显存的卡型。

四.测试验证

容器启动后，进行验证：

docker ps
docker logs -f --tail 200 qwen35-27b
curl http://127.0.0.1:5992/v1/models
curl http://127.0.0.1:5992/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3",
    "messages": [
      {"role": "user", "content": "你好，做一个自检。"}
    ],
    "temperature": 0.7
  }'

说明：如果 `v1/models` 能返回模型列表，`v1/chat/completions` 能正常返回内容，则部署完成。

注意：调用时思考是英文的，需要传参设置为中文：

{
    "model": "qwen35-27b",
    "messages": [
      {"role": "user", "content": "你能干什么?"}
    ],
    "temperature": 0.7,
    "extra_body": {
      "chat_template_kwargs": {
        "enable_thinking": false,
        "thinking_language":"chinese"
      }
    }
  }