使用docker通过ollama本地化部署qwen大模型
如果配置不对,重装!如果有奇怪的错误,重启!(基本解决99%问题)
·
如果配置不对,重装!
如果有奇怪的错误,重启!(基本解决99%问题)
1.部署
Docker去官网下载安装即可,这里便直接从docker内部署ollama开始:
检查有无gpu,并查看当前所有镜像,若无则通过pull下载所需镜像:
nvidia -smi
docker images
docker pull xxx
若无gpu,则使用如下命令,部署轻量级的ollama,其中最后的是镜像名:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
若有,则部署带gpu的:
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
在浏览器中输入localhost:11434验证是否部署成功。
(我这里不知道为什么访问不成功,但后续端口调用没问题,后面再看看有无问题)
更新:重启电脑后,成功访问:

2.容器运行
进入容器执行指令:
docker exec -it ollama /bin/bash
其中哦llama为你的容器名称,使用ps可以查看所有名称
3.模型部署
去ollama官网查看自己所需大模型版本,复制命令:library
我这里先用qwen2:0.5b测试,所以我在docker容器内部输入命令:
ollama run qwen2:0.5b
后续可通过11434端口访问对应服务api(本地安装的ollama默认为localhost:11434,使用docker部署的要关联对应虚拟ip,查看步骤可参考使用docker-compose一键本地化部署fastgpt,并连接本地ollama部署的大模型_ollama docker-compose-CSDN博客)。
参考
WSL下建立python虚拟环境_wsl python-CSDN博客
第一课:WSL环境下轻松创建Python虚拟环境:打造纯净高效的开发空间_wsl python-CSDN博客
更多推荐
所有评论(0)