Ollama现在已有Docker hub开源的镜像提供，这使得使用Docker容器运行大型语言模型变得更加简单。有了Ollama，大型语言模型的所有交互都在本地进行，无需将数据发送给第三方服务。

在Mac上

Ollama通过GPU加速来运行模型。它提供了一个简单的命令行界面（CLI）以及一个用于与你的应用程序交互的REST API。
建议在MacOS上与Docker Desktop一起运行Ollama，以便Ollama为模型启用GPU加速。

在Linux上

对于Nvidia GPU，Ollama可以在Docker容器内通过GPU加速运行。

要开始使用Docker镜像，请使用以下命令。

仅使用CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

1. 安装Nvidia容器工具包。
2. 在Docker容器内运行Ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

运行模型

现在你可以在容器内运行像Llama 2这样的模型。

docker exec -it ollama ollama run llama2

更多模型可以在Ollama库中找到。