记录一下第一次尝试跑论文上的代码的过程(1.环境配置)

Linux+vscode+实验室服务器4090+用户级权限+深度学习(python,CUDA,pytorch等)

vscode改中文参考:

【VSCode】如何设置成中文_vscode设置中文-CSDN博客

1.看GitHub上面项目的README文档就可以知道需要的条件,按照步骤来即可,一定不要把顺序弄错!比如先下载正确版本的CUDA,再配置正确的python,再pip install requirements.txt等,顺序很重要不然一直报错说版本不匹配!

2.根据GPU的算力选择对应的CUDA版本,4090的算力是8.9,CUDA应该不低于11.8才可以,否则就算CUDA和python,pytorch版本之间全部相配也跑不了。因为实验室usr/local/cuda安装的是11.1,所以我在自己用户目录下安装了一个11.8版本的CUDA。

查看显卡算力参考:

显卡算力及CUDA支持的算力_cuda12.1支持的显卡-CSDN博客

nvcc -V可以知道当前安装的在用的CUDA版本,nvidia-smi看的是最高支持的CUDA版本,使用的CUDA版本不能比它显示的高,同时可以查看驱动版本。

安装CUDA的步骤主要是这篇博客内容:在服务器(Ubuntu20.04)安装用户级别的cuda11.8(以及仿照前面教程安装cuda11.3后安装cudnn和pytorch1.9.0)_安装cuda11.8-CSDN博客

补充一下不太详细的地方,文章里面有一句话“接下来把之前下载的cuda_11.8.0_520.61.05_linux.run文件上传到/home/andy/cuda-11.8文件夹。”

对于这句话有以下指令需要知道:

在自己电脑上创建一个位于服务器上面的新文件夹:mkdir 文件夹名

把自己电脑上面的文件上传到服务器:使用sftp

命令: sftp -i 自己电脑上存放私钥的地址 自己的用户名@实验室服务器地址

sftp> put (-r:如果上传文件夹)下载好的文件地址 想要下载到的服务器的位置(如/home/用户名/cuda_11.8/)

下载使用sftp的参考:

将本地项目/文件上传到远程服务器中详细教程(vscode,sftp)_vscode写的网页如何上传到万维网-CSDN博客

(补充:如果右键想要上传的文件没有看见 Upload,就是sftp.json没有写好,少了几项)

没有下载驱动,因为我的服务器本身就有驱动了。

vim ~/.bashrc进入文件后去修改一直修改不好,还是使用的11.1的CUDA,所以我是在命令行里面输入以下三条语句来实现暂时修改的:

export CUDA_HOME=/home/用户名/cuda_11.8:$CUDA_HOME
export PATH=/home/用户名/cuda_11.8/bin:$PATH
export LD_LIBRARY_PATH=/home/用户名/cuda_11.8/mylib:$LD_LIBRARY_PATH

cuda部分解决。

上传项目代码,如果在github里面直接git clone http://........(地址)即可。

如果一次性没上传好,要删除啥的,↓【Linux】rm 命令:删除文件/文件夹_rm删除文件夹-CSDN博客

3.建一个新的环境再激活,

(conda create -n 环境名 python=3.7 pip)

(conda activate 环境名)

conda | 创建环境、安装包、删除环境步骤_conda remove -n-CSDN博客

然后根据论文给出的pytorch,torchvision要求等去下载,他们的版本之间是有相互关联的,必须下载适配的。

(pip install 的时候直接指定版本,否则他会下载最新版,怎么指定关联版本一定要看官网,指定这些版本的同时要指定cuda版本!)

pytorch和CUDA版本对应:Previous PyTorch Versions | PyTorch

其他参考:

PyTorch——torchtext与PyTorch匹配的版本_torchtext对应版本-CSDN博客


pytorch,torchvision与python版本对应关系及安装命令_pytorch python版本-CSDN博客

之后下载requirements,再看有没有报错,缺啥下啥。

pip install -r requirements.txt

3.最后执行sh ./make.sh,遇到的报错解决参考:

`Deformable-DETR`报错error in ms_deformable_im2col_cuda: no kernel image is available for execution on_error in ms deformable im2col cuda: no kernel imag-CSDN博客

Deformable-detr在运行make.sh文件时,报NotImplementedError: Cuda is not availabel-CSDN博客

可以用which nvcc来检查使用的cuda路径。

至此大功告成了,贴一下别人的新手教程作为参考,就到这里结束啦研一小白记录第一次在实验室服务器上跑深度学习的代码全过程(实验室服务器上跑代码详细全过程哦)_深度学习代码在服务器上运行,本机还需要配环境吗-CSDN博客

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐