之前在网上查过很多资料,没有一个可以完整安装下来的,包括deepseek给出的方案也不行,自己亲测安装记录一下。

安装驱动 & CUDA

sudo apt update
sudo apt install -y nvidia-driver-550 
sudo reboot

安装curl

sudo apt install curl

使用包管理器(如 apt, yum, dnf 等)

sudo apt update
sudo apt install libuv1-dev  # 安装开发库

安装后重启终端或运行

source ~/.bashrc

为了避免安装时出现设备空间不足,修改缓存路径

清理/tmp目录
 

sudo rm -rf /tmp/*

创建一个新的文件夹

mkdir tmp

添加行

export TMPDIR=/home/vlm/tmp

确保系统已更新

sudo apt update && sudo apt upgrade -y

安装node.js

curl -sL https://deb.nodesource.com/setup_14.x | sudo -E bash -
sudo apt-get install -y nodejs

然后,你可以使用 npm 来安装 uv 或任何相关的 Node.js 包:

npm install uv

安装其他语言的库

sudo apt-get install python3-pip
pip3 install uvloop  # 例如,安装 uvloop,这是一个 Python 的异步库

安装pipx

sudo apt install pipx

安装uv工具

pipx install uv

安装 astral-uv Snap 包

sudo snap install astral-uv --classic

查看uv版本

uv --version

安装 Python 3.12 和相关工具

curl -Ls https://astral.sh/uv/install.sh | bash
uv venv vllm-env --python 3.12 --seed
source vllm-env/bin/activate

查看python版本

python3.12 --version

安装pip

sudo apt install python3-pip

更新pip版本

pip install --upgrade pip

不缓存vllm安装

pip install --no-cache-dir vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

验证

pip show vllm

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐