模型训练之后台训练方法,python、shell,nohup、tmux;
在日常模型训练时都习惯在终端直接bash run.sh训练模型,这是最直接也最简单的方法;但有时候各种原因需要关机操作机,又或者无法避免 ssh工具吊针(xshell),所以训练到一半的模型不得不重新开始训练,相当浪费时间;使用方法,与shell脚本结合,将日志输出到test.log中,可以使用tail -fn 10 test.log 动态查看日志(打印最后10行日志);就会进入mysession
在日常模型训练时都习惯在终端直接bash run.sh训练模型,这是最直接也最简单的方法;但有时候各种原因需要关机操作机,又或者无法避免 ssh工具吊针(xshell),所以训练到一半的模型不得不重新开始训练,相当浪费时间;所以可以选择后台挂载的方式训练,能够得到比较稳定的效果;
后台训练比较常用的方法有:
1. nohup
一般比较常用,但有时候也会掉线,需要重新启动;
使用方法,与shell脚本结合,将日志输出到test.log中,可以使用tail -fn 10 test.log 动态查看日志(打印最后10行日志);
一般格式:
```shell
nohup sh test.sh > test.log
```
本人常用格式:
```shell
nohup ./test.sh > test.log 2>&1 &
```
2.tmux
Tmux 是一个终端复用器(terminal multiplexer),非常有用,属于常用的开发工具。
在linux中安装tmux之后,在终端输入 tmux new -s [后台起名] 即可进入【后台起名】便可以进行训练;例如:
tmux new -s mysession
就会进入mysession的后台,从而可以进行正常训练 ./run.sh,无需再用nohup;
如何安全退出: ctrl+b 然后d就可以 安全退出
重新进入mysession:tmux a -t mysession
其他常用命令可以参考:Tmux 使用教程 - 阮一峰的网络日志
I LOVE TMUX !!! SO DO YOU !!!
更多推荐
所有评论(0)