在现代计算环境中，利用 GPU 进行计算加速变得越来越重要。下面将讲解如何在Ubuntu上使用docker compose安装N卡GPU的Ollama服务。

1、安装 NVIDIA 容器工具

   首先，需要确保你的系统已经安装了 NVIDIA 容器工具 nvidia-container-toolkit。这是让 Docker 容器访问 GPU 的关键步骤。

参照下面这个博客文章安装即可：

https://blog.csdn.net/wtl1992/article/details/140912348

2、使用 Docker Compose 文件部署 Ollama

以下是一个完整的 docker-compose.yml 文件示例，配置了 Ollama 服务以支持 GPU：

services:
  ollama:
      container_name: aiotias_ollama
      environment:
          OLLAMA_HOST: 0.0.0.0:11434
          OLLAMA_ORIGINS: '*'
      image: ollama/ollama:latest
      labels:
          createdBy: AIOTAS
      networks:
          - aiotas-network
      ports:
          - "11434:11434"
      restart: unless-stopped
      tty: true
      volumes:
          - ./data:/root/.ollama
      deploy:
        resources:
          reservations:
            devices:
              - driver: nvidia
                capabilities: ["gpu"]
               #  device_ids: ["0"]
 
 
networks:
  aiotas-network:

将上述 docker-compose.yml 文件内容保存到你的项目目录中，然后使用以下命令启动服务：

docker-compose up -d

执行上述命令后，Ollama 容器将启动并使用所有可用的 CPU、内存和 GPU 资源。