目前llama cpp官方提供的llama.cpp提供的docker 镜像下载命令:docker pull ghcr.io/ggml-org/llama.cpp:server-cuda-b6222
服务器下载速度非常的慢。

llama.cpp docker image
比较好的方法是把ghcr.io替换为国内镜像源地址ghcr.nju.edu.cn进行下载:

// 官方命令:
docker pull ghcr.io/ggml-org/llama.cpp:server-cuda

//国内源地址命令
docker pull ghcr.nju.edu.cn/ggml-org/llama.cpp:server-cuda

速度快了几十倍,非常节约时间 推荐给大家!

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐