Xinference-v1.17.1保姆级部署教程：5分钟在Ubuntu上搭建你的AI模型推理平台

1. 引言：为什么选择Xinference？

如果你正在寻找一个简单、快速、功能强大的开源AI模型推理平台，Xinference-v1.17.1绝对值得你花5分钟了解一下。想象一下，你只需要一个命令，就能在本地或云端启动一个支持上百种开源大模型的服务，而且这个服务还提供了统一的API，让你可以像调用OpenAI一样调用任何模型——这就是Xinference带来的便利。

我最近在Ubuntu服务器上部署了Xinference，整个过程比预想的要顺利得多。从安装到启动第一个模型，真的只用了不到5分钟。这篇文章就是把我踩过的坑和总结的经验，用最直白的方式分享给你，让你也能快速拥有自己的AI推理平台。

无论你是想本地测试模型效果，还是需要为团队搭建一个统一的AI服务接口，这个教程都能帮你搞定。我们不讲复杂的概念，只讲具体怎么做。

2. 环境准备：确保你的系统就绪

在开始之前，我们先花1分钟检查一下你的Ubuntu系统。Xinference-v1.17.1对系统要求并不高，但做好准备工作能让后续步骤更顺利。

2.1 系统要求检查

首先确认你的Ubuntu版本。打开终端，输入：

lsb_release -a

你会看到类似这样的输出：

Distributor ID: Ubuntu
Description:    Ubuntu 22.04.3 LTS
Release:        22.04
Codename:       jammy

Xinference支持Ubuntu 18.04及以上版本，但我推荐使用20.04或22.04 LTS，兼容性最好。

2.2 基础软件安装

接下来更新系统并安装必要的工具：

# 更新软件包列表
sudo apt update

# 升级已安装的包
sudo apt upgrade -y

# 安装Python和pip（如果还没安装）
sudo apt install -y python3 python3-pip python3-venv

# 安装一些常用工具
sudo apt install -y git curl wget

如果你的系统里已经有Python 3.8或更高版本，那就可以直接进入下一步了。检查一下Python版本：

python3 --version

2.3 GPU支持（可选但推荐）

如果你有NVIDIA显卡，并且希望用GPU来加速模型推理，那么需要安装显卡驱动。先检查一下：

# 检查是否已安装NVIDIA驱动
nvidia-smi

如果这个命令显示了显卡信息，比如显存大小、驱动版本等，那说明驱动已经装好了。如果报错或者没输出，可以这样安装：

# 自动安装合适的驱动
sudo ubuntu-drivers autoinstall

# 重启系统
sudo reboot

重启后再次运行nvidia-smi确认安装成功。看到显卡信息就说明没问题了。

3. 核心步骤：安装和启动Xinference

好了，准备工作完成，现在进入正题。安装Xinference其实特别简单，就几个命令。

3.1 创建Python虚拟环境

我强烈建议使用虚拟环境，这样不会影响系统里其他的Python项目：

# 创建一个名为xinference-env的虚拟环境
python3 -m venv xinference-env

# 激活虚拟环境
source xinference-env/bin/activate

激活后，你的命令行提示符前面会出现(xinference-env)，表示你现在在这个虚拟环境里操作。

3.2 安装Xinference

在虚拟环境里，用pip安装Xinference：

pip install xinference

如果你在中国大陆，可能会觉得下载速度慢，可以换成国内的镜像源：

pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple

安装过程大概需要1-2分钟，取决于你的网络速度。

3.3 验证安装

安装完成后，验证一下是否成功：

xinference --version

如果看到类似xinference, version 1.17.1的输出，恭喜你，安装成功了！

4. 启动服务：让你的AI平台跑起来

安装好了，现在启动服务。Xinference提供了多种启动方式，我们先从最简单的开始。

4.1 快速启动本地服务

在终端里输入这个命令：

xinference-local --host 0.0.0.0 --port 9997

解释一下参数：

• --host 0.0.0.0：让服务监听所有网络接口，这样你不仅能在本机访问，也能从同一网络的其他设备访问
• --port 9997：指定服务端口为9997，你可以改成其他没被占用的端口

启动后你会看到类似这样的输出：

INFO:     Started server process [12345]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:9997 (Press CTRL+C to quit)

4.2 访问Web管理界面

打开你的浏览器，输入：

• 如果在本机访问：http://localhost:9997
• 如果在其他设备访问：http://你的服务器IP:9997

你会看到一个简洁的Web界面，这就是Xinference的管理后台。在这里你可以查看已部署的模型、启动新模型、监控资源使用情况等。

4.3 让服务在后台运行

刚才的启动方式有个问题：关掉终端，服务就停了。我们需要让它在后台持续运行。

方法一：使用nohup（简单）

nohup xinference-local --host 0.0.0.0 --port 9997 > xinference.log 2>&1 &

这个命令会让服务在后台运行，并且把日志输出到xinference.log文件。你可以随时查看日志：

# 查看实时日志
tail -f xinference.log

# 查看最后100行日志
tail -n 100 xinference.log

方法二：使用systemd（推荐用于生产环境）

创建服务配置文件：

sudo nano /etc/systemd/system/xinference.service

把下面的内容复制进去（记得把你的用户名换成你实际的用户名）：

[Unit]
Description=Xinference AI Inference Service
After=network.target

[Service]
Type=simple
User=你的用户名
WorkingDirectory=/home/你的用户名
Environment=PATH=/home/你的用户名/xinference-env/bin
ExecStart=/home/你的用户名/xinference-env/bin/xinference-local --host 0.0.0.0 --port 9997
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

保存退出后，启用并启动服务：

# 重新加载systemd配置
sudo systemctl daemon-reload

# 设置开机自启
sudo systemctl enable xinference

# 立即启动服务
sudo systemctl start xinference

# 查看服务状态
sudo systemctl status xinference

如果看到active (running)，说明服务已经成功在后台运行了。

5. 部署第一个模型：从零到一的实践

服务跑起来了，现在我们来部署一个真正的AI模型。Xinference支持很多模型，我们先从一个小一点的开始。

5.1 查看可用模型

在终端里（确保还在虚拟环境中）输入：

# 查看所有可用的语言模型
xinference registrations --model-type LLM

你会看到一个很长的列表，包含了各种开源大模型，比如Qwen、Llama、ChatGLM等。每个模型后面都标明了需要多少显存或内存。

5.2 部署Qwen2-7B模型

对于初次尝试，我推荐Qwen2-7B-Instruct这个模型。它大小适中（7B参数），效果不错，而且对中文支持很好。

xinference launch --model-name Qwen2-7B-Instruct --model-type LLM

第一次运行这个命令时，Xinference会自动从网上下载模型文件。下载速度取决于你的网络，模型大小约14GB，可能需要一些时间。

下载完成后，模型会自动加载。你会看到类似这样的进度信息：

Downloading model... 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████