通义千问1.5-1.8B-Chat-GPTQ-Int4在Ubuntu系统上的优化部署

1. 环境准备与系统配置

在开始部署之前，确保你的Ubuntu系统已经准备就绪。不同版本的Ubuntu在软件包管理和驱动支持上有所差异，因此需要根据你的系统版本进行相应配置。

首先检查你的Ubuntu版本：

lsb_release -a

对于Ubuntu 18.04/20.04/22.04等LTS版本，建议先更新系统包：

sudo apt update && sudo apt upgrade -y

安装基础依赖包，这些是运行AI模型所需的底层库：

sudo apt install -y python3-pip python3-venv git wget curl build-essential libssl-dev libffi-dev

如果你使用GPU加速，还需要安装相应的CUDA驱动。对于NVIDIA显卡，建议使用官方驱动：

# 添加NVIDIA包仓库
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update

# 安装推荐版本的驱动
ubuntu-drivers devices
sudo apt install nvidia-driver-535  # 根据推荐版本调整

重启系统使驱动生效：

sudo reboot

2. 创建隔离的Python环境

为避免依赖冲突，建议使用虚拟环境。这里使用venv创建独立环境：

python3 -m venv qwen_env
source qwen_env/bin/activate

更新pip并安装基础Python包：

pip install --upgrade pip
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # 根据CUDA版本调整

3. 模型下载与部署

现在开始下载和部署通义千问模型。首先安装必要的Python依赖：

pip install transformers accelerate sentencepiece einops

创建项目目录并下载模型：

mkdir qwen_deployment && cd qwen_deployment

使用huggingface_hub下载模型（需要先安装：pip install huggingface_hub）：

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4",
    local_dir="./qwen1.5-1.8b-chat-gptq-int4",
    local_dir_use_symlinks=False
)

或者使用git lfs直接克隆（需要先安装git-lfs）：

sudo apt install git-lfs
git lfs install
git clone https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4

4. 优化配置与性能调优

为了让模型在Ubuntu系统上发挥最佳性能，需要进行一些优化配置。

首先设置环境变量以提高性能：

# 添加到 ~/.bashrc 或当前环境的激活脚本中
export OMP_NUM_THREADS=$(nproc)
export TOKENIZERS_PARALLELISM=false
export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512

对于内存优化，可以启用swap空间（特别是对于内存较小的系统）：

# 创建4GB的swap文件
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# 永久生效
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

针对不同的Ubuntu版本，优化策略也有所不同：

• Ubuntu 18.04：需要手动安装较新版本的Python（>=3.8）和库
• Ubuntu 20.04：系统自带的Python3.8基本满足要求，但建议更新关键库
• Ubuntu 22.04+：系统较新，兼容性最好，性能优化效果最明显

5. 模型测试与验证

部署完成后，创建一个简单的测试脚本来验证模型是否正常工作：

#!/usr/bin/env python3
# test_model.py

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载模型和分词器
model_path = "./qwen1.5-1.8b-chat-gptq-int4"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    device_map="auto"
)

# 准备测试输入
messages = [
    {"role": "user", "content": "请介绍一下你自己"}
]

# 生成回复
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to("cuda")

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print("模型回复:", response)

运行测试脚本：

python test_model.py

如果一切正常，你应该能看到模型的自我介绍回复。

6. 安全加固与权限设置

为确保部署安全，需要进行一些安全加固措施：

设置适当的文件权限：

# 设置模型文件权限，防止未授权访问
chmod 600 -R ./qwen1.5-1.8b-chat-gptq-int4/*

# 创建专用用户运行模型（可选但推荐）
sudo useradd -r -s /bin/false qwen_user
sudo chown -R qwen_user:qwen_user ./qwen_deployment

配置防火墙规则（如果系统暴露在网络上）：

# 安装ufw（如果未安装）
sudo apt install ufw

# 配置基础规则
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow ssh  # 确保SSH访问不被阻断
sudo ufw enable

7. 系统服务化部署

对于生产环境，建议将模型部署为系统服务，实现开机自启和进程管理。

创建systemd服务文件：

sudo nano /etc/systemd/system/qwen-service.service

添加以下内容（根据你的实际路径调整）：

[Unit]
Description=Qwen 1.8B Chat Model Service
After=network.target

[Service]
Type=simple
User=qwen_user
Group=qwen_user
WorkingDirectory=/path/to/qwen_deployment
Environment=PYTHONPATH=/path/to/qwen_deployment
Environment=PATH=/path/to/qwen_env/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
ExecStart=/path/to/qwen_env/bin/python -u app.py  # 你的应用入口文件
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

启用并启动服务：

sudo systemctl daemon-reload
sudo systemctl enable qwen-service
sudo systemctl start qwen-service

检查服务状态：

sudo systemctl status qwen-service

8. 监控与维护

部署完成后，需要设置监控来确保服务稳定运行。

安装和配置基础监控工具：

# 安装htop用于资源监控
sudo apt install htop

# 监控GPU使用情况（如果有NVIDIA显卡）
nvidia-smi -l 1  # 每秒刷新一次

设置日志轮转：

# 安装logrotate（通常已预装）
sudo nano /etc/logrotate.d/qwen-service

添加以下内容：

/path/to/qwen_deployment/*.log {
    daily
    missingok
    rotate 7
    compress
    delaycompress
    notifempty
    copytruncate
}

9. 总结

通过以上步骤，你应该已经在Ubuntu系统上成功部署并优化了通义千问1.5-1.8B-Chat-GPTQ-Int4模型。整个过程从系统环境准备开始，涵盖了驱动安装、环境配置、模型部署、性能优化、安全加固到最终的服务化部署。

实际使用中可能会遇到一些具体问题，比如硬件兼容性、依赖版本冲突等，这时候需要根据具体错误信息进行排查。建议在部署前先完整阅读相关文档，了解硬件和软件要求。

这个部署方案考虑了不同Ubuntu版本的差异，提供了相应的优化建议。对于生产环境，还需要考虑备份策略、灾难恢复等额外措施。定期更新系统和依赖包也是保持系统稳定安全的重要环节。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。