archlinux上的nvidia驱动更太快了,今天想玩一下vLLM发现了一堆问题,现在在运行的时候提示显存不够, 我寻思跑个Qwen0.6B的模型 4060 8G跑不起来? 搜了一下, 红迪老哥已经给出解决办法了,下面直接贴原文翻译了:
原文链接: https://www.reddit.com/r/LocalLLaMA/comments/1lshe4q/build_vllm_on_cuda_129_kernel_6152_nvidia_57564/

# 下载vllm
git clone https://github.com/vllm-project/vllm.git && cd vllm

# 搞一下python虚拟环境
python -m venv vllm # 我使用的 python 版本是 3.12.11。

source ./vllm/bin/activate

# 注意将 cu128 更改为 cu129, 这边要下载很久
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu129

# 写文的时候还在跑这步骤

# 跟着操作编译就好了
python use_existing_torch.py

python -m pip install -r requirements/build.txt

# 直接编译如果没装cuda-tools的话会报错,archlinux要注意

python -m pip install -e . --no-build-isolation -v # -v 查看当前处于哪一步

另外，根据硬件情况，有时需要 20 分钟或更长时间。但如果您使用 -v 标志，至少可以看到当前执行到哪一步了！

# 报错了 没解决, 在尝试别的办法

# 现在官方已经解决了，本文没用了