一、环境检查

# 检查操作系统版本（推荐Ubuntu 20.04/22.04或CentOS 7/8）
cat /etc/os-release

# 检查内核版本（需要4.15+）
uname -r

# 检查GPU硬件
lspci | grep -i nvidia


# 检查系统资源
free -h
df -h
lscpu

#检查docker是否安装
docker --version

#检查docker是否能调度GPU
docker run --rm --gpus all swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi

# 预期输出：容器内能看到GPU信息
root@k8s-master:~# docker run --rm --gpus all swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi
Thu Jan 22 06:33:02 2026       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.274.02             Driver Version: 535.274.02   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  Tesla T4                       Off | 00000000:00:0A.0 Off |                    0 |
| N/A   41C    P8               9W /  70W |      2MiB / 15360MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|  No running processes found                                                           |
+---------------------------------------------------------------------------------------+

二、部署Ollama

ollama/ollama：启动并运行 OpenAI gpt-oss、DeepSeek-R1、Gemma 3 及其他模型。 — ollama/ollama: Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models.

# 创建本地目录，用于挂载到容器（存储模型、配置）
mkdir -p /opt/ollama/data
chmod -R 777 /opt/ollama/data  # 赋予权限，避免容器读写报错

#下载镜像 此版本镜像大小为425MB
docker pull ollama/ollama:0.1.29
#新版本2026.01.23 此镜像5.59GB
docker pull ollama/ollama:latest 


#运行容器
docker run -d \
  --name ollama \
  --restart=always \
  --gpus all \
  -p 11434:11434 \
  -v /opt/ollama/data:/root/.ollama \
  ollama/ollama:latest

验证 Ollama 容器是否正常运行

# 1. 查看容器状态（显示Up即正常）
docker ps | grep ollama
# 输出：xxx   ollama/ollama:latest   "/bin/ollama serve"   Up 5 minutes   0.0.0.0:11434->11434/tcp   ollama

# 2. 进入容器测试Ollama命令
docker exec -it ollama ollama --version
# 输出：ollama version x.x.x

# 3. 测试Ollama服务连通性
curl http://localhost:11434/api/tags
# 输出：{"models":[]}（无模型时为空，正常）

三、部署openwebui（网页访问）

🏡 首页 |开放 WebUI — 🏡 Home | Open WebUI

mkdir -p /opt/openwebui/OllamaWeb
chmod -R 777 /opt/openwebui/OllamaWeb # 赋予权限，避免容器读写报错

#拉取镜像

#如果你的电脑上有 Ollama 软件（我使用的）
docker pull ghcr.io/open-webui/open-webui:main

#要运行支持 Nvidia GPU 的 Open WebUI
docker pull pen-webui/open-webui:cuda

#对于存储或带宽有限的环境，Open WebUI 提供精简的图像变体，排除预装捆绑模型。这些图片体积明显较小，但首次使用时需下载所需模型：
docker pull ghcr.io/open-webui/open-webui:main-slim

#启动
docker run -d \
  -p 3080:8080 \
  --gpus all \
  --add-host=host.docker.internal:host-gateway \
  -v /opt/openwebui/OllamaWeb:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

#验证
docker ps | grep open-webui

访问IP：3080，设置登录账号密码，如果是外部的Ollama，右上角设置—管理员设置—外部链接进行添加

四，下载模型

Ollama

#进入容器
docker exec -it ollama /bin/bash

#拉取模型 此模型1.2b
ollama pull lfm2.5-thinking
#运行模型
ollama run lfm2.5-thinking
#千问3b
ollama pull qwen2.5vl:3b
ollama run qwen2.5vl:3b

#验证模型是否已保存
docker exec -it ollama ollama list
# 输出已下载的模型列表，例如：
# NAME        ID              SIZE    MODIFIED
# llama3:8b   78e26419b446    4.7 GB  10 minutes ago

五、使用

访问IP：3080，设置登录账号密码
重新加载即可，会弹出下载的模型文件