Linux网络命令：可以断点续传的网络下载工具wget详解
Linux系统中的wget命令是一个非常强大的网络下载工具，它支持HTTP、HTTPS和FTP协议，用于从网络上自动下载文件。wget的设计是为了能够可靠地下载文件，即使在网络条件不佳的情况下也能恢复下载。wget 可以下载整个网站，也可以下载单个文件，并且能够在下载中断后从中断处继续下载。它非常适用于从网络服务器上自动下载文件。适合自动化和批量下载任务。通过灵活运用其各种选项和参数，可以高效地进
目录
一、命令概述
Linux系统中的wget命令是一个非常强大的网络下载工具，它支持HTTP、HTTPS和FTP协议，用于从网络上自动下载文件。 它的名字来源于“World Wide Web”和“get”的组合。wget的设计是为了能够可靠地下载文件，即使在网络条件不佳的情况下也能恢复下载。
wget 可以下载整个网站，也可以下载单个文件，并且能够在下载中断后从中断处继续下载。它非常适用于从网络服务器上自动下载文件。
二、基本功能和特点
1、基本功能
下载文件：通过指定URL（统一资源定位符）来下载文件。
断点续传：如果下载过程中断，可以重新开始下载，并从上次停止的地方继续。
递归下载：可以递归地下载网站上的所有文件、目录和子目录。
限制下载速度：为了防止使用过多的带宽，可以限制下载速度。
后台下载：支持在后台运行，不干扰当前进程。
2、主要特点
- 协议支持：wget支持多种网络协议，包括HTTP、HTTPS、FTP以及FTPS（安全FTP）。
- 递归下载：它可以递归下载整个网站，包括所有链接的页面、图片和其他资源，非常适合创建网站的本地副本。
- 断点续传：wget可以恢复因网络中断等原因而停止的下载，继续从上次中断的地方开始下载。
- 后台下载：wget可以作为守护进程在后台运行，允许用户在下载过程中注销或关闭终端。
- 代理支持：它支持通过HTTP和SOCKS代理进行下载。
- 限速下载：用户可以限制下载的速度，以避免占用过多的带宽。
- 定时下载：可以设置wget在特定时间执行下载任务。
- 镜像网站：wget可以镜像网站，将网站的结构和内容完整复制到本地。
- 遵循Robots协议：在递归下载时，默认情况下会遵循Robots协议（/robots.txt），尊重网站的爬虫政策。
- 文件名重写：在递归下载时，可以将URL转换为本地文件名。
三、基本语法和选项
1、基本语法
wget命令的基本语法是：
wget [option]... [URL]...
其中，option表示wget命令的选项，URL表示要下载的文件的地址。
2、帮助信息
在命令行可以方便查看帮助信息，比如在命令行输入命令：
wget –-help
实际显示如下：
3、常用选项
-O 文件名：将下载的文件保存为指定的文件名。注意，-O选项后面直接跟文件名，而不是URL。
-P 目录：将下载的文件保存到指定的目录。如果目录不存在，wget会尝试创建它。
-c：断点续传，即从上次下载中断的地方继续下载。
-r：递归下载，下载指定URL中的所有链接指向的文件。可以通过-l选项限制递归的层级。
-b：后台下载，将下载任务放到后台执行。
-q：静默模式，减少输出信息。
-v：详细模式，增加输出信息，包括下载进度等。
--limit-rate=amount：限制下载速率为每秒amount字节。amount可以以字节为单位表示，也可以使用k后缀表示千字节，或者使用m后缀表示兆字节。
-t number：设置最大尝试次数，超过次数会报错“connection refused”或者“not found”。
-U 字符串：设置User-Agent字符串，用于伪装浏览器或其他客户端身份。
-S：显示服务器返回的HTTP头信息。
-i file：从文件中读取URL列表进行下载。文件中的每一行应该包含一个URL。
-o logfile：将所有日志都输入到logfile中。如果logfile已存在，它会被覆盖。
-a logfile：同-o选项，但-a是追加模式，不会覆盖旧文件。
四、使用示例
1、下载单个文件
使用如下命令：
wget http://example.com/file.zip
2、指定输出文件名
（1）命令格式
wget -O myfilename http://example.com/file.zip
（2）实际操作
比如，要下载阿里云的centos的文件，可以输入如下命令：
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo（3）实际操作效果
实际操作效果如下图所示：
3、递归下载整个目录
使用如下命令：
wget --mirror --convert-links --adjust-extension --page-requisites --html-extension --no-parent http://example.com/directory/4、使用代理服务器
使用如下命令：
export http_proxy=http://username:password@proxyserver:port
wget http://example.com/file.zip5、限速下载
使用如下命令：
wget --limit-rate=100k http://example.com/bigfile.iso
6、断点续传
如果下载中断，再次运行相同的wget命令即可继续下载。
五、高级用法
1、递归下载整个网站
使用 -r 选项可以递归地下载网站上的所有文件。通过-l选项可以限制递归的层级，例如-l 1将只下载一级链接的页面。
2、限制下载的文件类型
虽然wget没有直接的选项来限制下载的文件类型，但可以通过结合使用grep等命令来过滤URL列表，只下载特定类型的文件。
3、下载过程中显示下载进度
默认情况下，wget会在下载过程中显示下载进度。如果需要更详细的输出信息，可以使用-v选项。
六、安装
在大多数Linux发行版中，wget通常是预装的。如果未安装，可以使用包管理器进行安装。
1、在Debian或Ubuntu系统中安装
在Debian或Ubuntu中使用apt，如下命令：
sudo apt install wget
2、在Fedora或CentOS系统中安装
在Fedora或CentOS中使用dnf或yum，如下命令：
sudo dnf install wget
七、注意事项
1、使用wget下载文件时，请确保您有权限从指定的URL下载文件。
2、如果下载的是大文件或者需要长时间下载，建议使用断点续传功能，以防下载过程中断。
3、在使用递归下载时，请注意不要下载过多的数据，以免对服务器造成不必要的负担或侵犯版权。
wget命令是Linux系统中非常实用的网络下载工具，wget是一个非常强大且灵活的工具，适合自动化和批量下载任务。通过灵活运用其各种选项和参数，可以高效地进行文件下载操作。
文章正下方可以看到我的联系方式：鼠标“点击” 下面的 “威迪斯特-就是video system 微信名片”字样，就会出现我的二维码，欢迎沟通探讨。
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
27
0- 0
已为社区贡献15条内容
所有评论(0)