conda安装 (版本看自己需要)

sh Miniconda3-py38_4.10.3-Linux-x86_64.sh
source ~/.bashrc

vllm安装

pip install vllm==0.5.5

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐