安装Docker

确保系统已安装Docker，若未安装可执行以下命令（以Ubuntu为例）：

sudo apt update
sudo apt install docker.io
sudo systemctl enable --now docker

验证安装：

docker --version

拉取Ollama镜像

从Docker Hub获取官方Ollama镜像：

docker pull ollama/ollama

创建目录并设置权限

在docker里创建目录权限

mkdir -p /root/ollama
chmod 775 /root/ollama

安装NVIDIA驱动（用于gpu）

1.检查显卡识别

若无输出，说明系统未识别NVIDIA显卡，需检查硬件连接或BIOS设置。

lspci | grep -i nvidia

2.禁用开源驱动nouveau

# 创建黑名单配置
echo "blacklist nouveau" | sudo tee /etc/modprobe.d/disable-nouveau.conf
echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/disable-nouveau.conf

# 重建initramfs
sudo dracut --force
sudo reboot

3.安装NVIDIA驱动(编译依赖)

sudo yum install -y gcc kernel-devel-$(uname -r) kernel-headers-$(uname -r)

4.下载并安装官方驱动

# 访问NVIDIA驱动下载页获取最新版本
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/.../NVIDIA-Linux-x86_64-xxx.run
chmod +x NVIDIA-Linux-x86_64-xxx.run
sudo ./NVIDIA-Linux-x86_64-xxx.run --no-opengl-files

5.验证驱动安装

nvidia-smi

6. 配置Docker GPU支持(安装NVIDIA Container Toolkit)

# 配置yum源
sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo <<EOF
[nvidia-container-toolkit]
baseurl=https://nvidia.github.io/nvidia-container-toolkit/centos7
enabled=1
gpgcheck=0
EOF

# 安装工具包
sudo yum install -y nvidia-container-toolkit

7.配置Docker运行时

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

8.测试GPU容器

docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

创建CPU容器或GPU容器（二选一）根据电脑配置

创建CPU容器

docker run -d \
  --name ollama-cpu \
  -p 11434:11434 \
  -v /root/ollama:/root/ollama \
  ollama/ollama

创建GPU容器（需NVIDIA支持）

# 验证GPU驱动
nvidia-smi  

docker run -d \
  --name ollama-gpu \
  --gpus all \
  -p 11435:11434 \
  -v /root/ollama:/root/ollama \
  ollama/ollama

下载模型

进入容器交互终端：

docker exec -it ollama bash

在容器内使用ollama pull命令下载模型（例如Llama3）：

ollama pull llama3

或直接通过宿主机命令下载：

docker exec ollama ollama pull mistral

验证模型运行

测试模型是否正常工作：

docker exec ollama ollama run llama3 "Hello, world!"

常用管理命令

停止容器：

docker stop ollama

启动已有容器：

docker start ollama

查看日志：

docker logs ollama

注意事项

• 模型文件默认存储在容器内/root/.ollama目录，建议通过-v参数持久化到宿主机
• 不同模型对硬件有要求，需确保宿主机资源充足
• 可访问Ollama官方库获取最新镜像版本