Qwen3.5-9B部署教程：使用Ollama本地化运行Qwen3.5-9B并接入LangChain生态

1. 引言

Qwen3.5-9B作为通义千问系列的最新成员，凭借其强大的多模态能力和高效的混合架构，正在成为开发者社区的热门选择。本文将手把手教你如何在本地通过Ollama部署Qwen3.5-9B模型，并实现与LangChain生态的无缝集成。

对于刚接触大模型的开发者来说，本地部署看似复杂，但通过Ollama这个轻量级工具，整个过程可以变得非常简单。我们将从环境准备开始，逐步完成模型加载、服务启动，最终实现与LangChain的对接，让你快速体验到Qwen3.5-9B的强大能力。

2. 环境准备

2.1 硬件要求

要顺利运行Qwen3.5-9B模型，你的设备需要满足以下最低配置：

• GPU：NVIDIA显卡（建议RTX 3090及以上），显存至少24GB
• 内存：32GB及以上
• 存储：至少50GB可用空间（用于模型权重和临时文件）

2.2 软件依赖

确保你的系统已安装以下组件：

# 基础依赖
sudo apt update && sudo apt install -y python3-pip git

# CUDA工具包（以CUDA 12.1为例）
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

3. Ollama安装与配置

3.1 安装Ollama

Ollama是一个简化大模型本地运行的工具，支持多种开源模型。安装方法如下：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动Ollama服务：

ollama serve

3.2 下载Qwen3.5-9B模型

通过Ollama获取Qwen3.5-9B模型：

ollama pull qwen3.5-9b

下载完成后，你可以通过以下命令验证模型是否可用：

ollama list

4. 启动模型服务

4.1 直接运行模型

最简单的启动方式是直接运行模型：

ollama run qwen3.5-9b

这将进入交互式命令行界面，你可以直接与模型对话。

4.2 通过Gradio启动Web UI

如果你想使用图形界面，可以启动Gradio Web服务：

python /root/Qwen3.5-9B/app.py

服务启动后，在浏览器中访问 http://localhost:7860 即可使用Web界面。

5. 接入LangChain生态

5.1 安装LangChain

首先确保已安装LangChain及其相关依赖：

pip install langchain langchain-community

5.2 创建LangChain自定义LLM

创建一个自定义的LangChain LLM包装器，用于连接Ollama服务：

from langchain_core.language_models.llms import BaseLLM
from typing import Any, List, Optional

class OllamaQwenLLM(BaseLLM):
    model_name: str = "qwen3.5-9b"
    
    def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str:
        import requests
        response = requests.post(
            "http://localhost:11434/api/generate",
            json={
                "model": self.model_name,
                "prompt": prompt,
                "stream": False
            }
        )
        return response.json()["response"]
    
    @property
    def _llm_type(self) -> str:
        return "ollama-qwen"

5.3 在LangChain中使用Qwen3.5-9B

现在你可以像使用其他LangChain LLM一样使用Qwen3.5-9B：

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

llm = OllamaQwenLLM()

prompt = PromptTemplate(
    input_variables=["question"],
    template="请用中文回答以下问题：{question}"
)

chain = LLMChain(llm=llm, prompt=prompt)
print(chain.run("解释一下Qwen3.5-9B的混合架构特点"))

6. 进阶配置与优化

6.1 性能调优参数

在启动Ollama时，可以通过参数优化性能：

OLLAMA_NUM_GPU=1 OLLAMA_MAX_VRAM=24GB ollama serve

6.2 使用vLLM加速

对于更高性能的需求，可以结合vLLM使用：

pip install vllm

然后通过vLLM启动API服务：

python -m vllm.entrypoints.api_server --model qwen3.5-9b --tensor-parallel-size 1

7. 总结

通过本教程，你已经完成了：

1. 在本地环境通过Ollama部署Qwen3.5-9B模型
2. 启动Gradio Web界面与模型交互
3. 创建自定义LangChain LLM包装器
4. 将Qwen3.5-9B集成到LangChain生态系统中

Qwen3.5-9B凭借其统一的视觉-语言基础和高效的混合架构，为开发者提供了强大的多模态能力。结合Ollama的便捷部署和LangChain的丰富生态，你可以快速构建各种AI应用，从智能对话系统到复杂的多模态解决方案。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。