openwebui使用ollama模型很方便,但ollama有漏洞,所以我使用了本地部署的vllm模型。

首先是关掉openwebui,查看系统8080端口占用进程的pid

lsof -i : 8080

kill -9 pid

启动vllm模型后

打开openwebui的界面,选择外部链接

url要写到v1,他默认会加上/chat/completions,模型名称写model name点击加号,然后保存就可以了,查看模型里的模型是否添加上

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐