启动 ollama

1. CPU 方式启动

docker run -itd --name ollama -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

2. GPU 方式启动

docker run -itd --name ollama --gpus=all -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama

启动模型

进入 ollama 容器

docker exec -it ollama /bin/bash

拉取 qwen2.5 大模型

ollama pull qwen2.5:0.5b

查看大模型列表

ollama list

对话

1. 进入容器，直接启动 qwen2.5 大模型，进行对话

docker exec -it ollama /bin/bash
ollama run qwen2.5:0.5b

2. 在宿主机通过 curl 和 ollama api 交互，进行单轮对话

curl http://localhost:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "prompt": "用 Go 写一个 Gin 示例",
    "stream": false
  }'

3. 在宿主机通过 curl 和 ollama api 交互，进行多轮对话

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5:0.5b",
    "messages": [
      {"role": "user", "content": "你是谁？"},
      {"role": "assistant", "content": "我是 Qwen 模型"},
      {"role": "user", "content": "给我一个 Go Web 示例"}
    ],
    "stream": false
  }'