如果配置不对,重装!

如果有奇怪的错误,重启!(基本解决99%问题)

1.部署

Docker去官网下载安装即可,这里便直接从docker内部署ollama开始:

检查有无gpu,并查看当前所有镜像,若无则通过pull下载所需镜像:

nvidia -smi
docker images
docker pull xxx

若无gpu,则使用如下命令,部署轻量级的ollama,其中最后的是镜像名:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

若有,则部署带gpu的:

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

在浏览器中输入localhost:11434验证是否部署成功。

(我这里不知道为什么访问不成功,但后续端口调用没问题,后面再看看有无问题)

更新:重启电脑后,成功访问:

2.容器运行

进入容器执行指令:

docker exec -it ollama /bin/bash

其中哦llama为你的容器名称,使用ps可以查看所有名称

3.模型部署

去ollama官网查看自己所需大模型版本,复制命令:library

我这里先用qwen2:0.5b测试,所以我在docker容器内部输入命令:

ollama run qwen2:0.5b

后续可通过11434端口访问对应服务api(本地安装的ollama默认为localhost:11434,使用docker部署的要关联对应虚拟ip,查看步骤可参考使用docker-compose一键本地化部署fastgpt,并连接本地ollama部署的大模型_ollama docker-compose-CSDN博客)。

参考

WSL下建立python虚拟环境_wsl python-CSDN博客

第一课:WSL环境下轻松创建Python虚拟环境:打造纯净高效的开发空间_wsl python-CSDN博客

利用WSL2本地部署-通义千问Qwen-7B-Chat-CSDN博客

本地部署大模型?Ollama 部署和实战,看这篇就够了_ollama本地部署大模型-CSDN博客

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐