学习网络协议
IP协议、TCP协议、DNS协议、SMTP协议、IMAP协议、POP协议、HTTP协议、HTTPS协议、SSL协议、TLS协议、ARP协议、NDP协议、ICMP协议、NTLM协议
目录
概述
先从知乎盗个图：怎么开始学习网络协议？ - 知乎
1、应用层
作用：定义数据格式并按照对应的格式解读数据。
2、传输层
作用：定义端口，标识应用程序身份，实现端口到端口的通信。
3、网络层
作用：定义网络地址、区分网段、子网内MAC寻址、对于不同子网的数据包进行路由。
4、链路层
作用：对电信号进行分组并形成数据帧，并以广播的形式通过物理介质发送给接收方（使用mac地址）。
IP协议
IP指网际互连协议，Internet Protocol的缩写，是TCP/IP体系中的网络层协议。 根据端到端的设计原则，IP只为主机提供一种无状态、无连接、不可靠的、尽力而为的数据包传输服务。
图片来源：IP协议详解_余识-的博客-CSDN博客_ip协议
IP模块收到来自数据链路层的IP数据报，首先对数据报的头部做CRC校验，无误后开始分析头部具体信息。
如果IP数据报头部设置了源站选路选项，则IP模块调用数据报转发子模块来处理该数据报。
（严格源站路由选择：发送端指明IP数据报所必须采用的确切路由，如果一个路由器发现源路由所指定的下一个路由器不再其直接连接的网络上，那么它就会返回一个“源站路由失败”的ICMP差错报文。严格源站路由的变态之处，哪怕路由器上没有到达目的地的路由也可以通，因为严格源站路由提供了下一跳地址。
宽松的源站路由：发送端指明了一个数据报经过的IP地址清单，但是数据报子啊清单上指明的任意两个地址之间可以通过其他路由器。）
如果该数据报的头部目标IP地址是本机的某个IP地址，或者广播地址，则IP模块根据数据报协议字段来决定发送给哪个上层应用。如果不是本机，则掉用数据报转发子模块来处理该数据报。
数据报转发模块检查系统是否允许转发，不允许则丢弃。允许则将该数据报执行一些操作，就将它交给IP数据报输出模块。
IP数据报根据路由表计算下一跳路由。
IP输出队列存放所有等待发送的IP数据报。
IP分组的转发规则
路由器仅根据网络地址进行转发。当IP数据包经由路由器转发时，如果目标网络与本地路由器直接相连，则直接将数据包交付给目标主机，这称为直接交付；否则，路由器通过路由表查找路由信息，并将数据包转交给指明的下一跳路由器，这称为间接交付。路由器在间接交付中，若路由表中有到达目标网络的路由，则把数据包传送给路由表指明的下一跳路由器；如果没有路由，但路由表中有一个默认路由，则把数据包传送给指明的默认路由器；如果两者都没有，则丢弃数据包并报告错误。
IP分片
一个IP包从源主机传输到目标主机可能需要经过多个不同的物理网络。由于各种网络的数据帧都有一个最大传输单元(MTU)的限制，如以太网帧的MTU是1500；因此，当路由器在转发IP包时，如果数据包的大小超过了出口链路的最大传输单元时，则会将该IP分组分解成很多足够小的片段，以便能够在目标链路上进行传输。这些IP分片重新封装一个IP包独立传输，并在到达目标主机时才会被重组起来。
IP分组结构
一个IP分组由首部和数据两部分组成。首部的前20字节是所有IP分组必须具有的，也称固定首部。在首部固定部分的后面是一些可选字段，其长度是可变的。如果MF位是0，并且分段偏移为0，则表明这是一个完整的IP数据报。否则，如果分段偏移不为0，或者MF标志位为1，则表明它是一个分段。这时目的地端需要实行分段重组。
IP协议使用非连接式的传送方式。非连接式的传送方式是指IP信息包传送时，源设备与目的设备双方不必事先连接，即可将IP信息包送达。即源设备完全不用理会目的设备，而只是单纯地将IP信息包逐一送出。至于目的设备是否收到每个信息包、是否收到正确的信息包等，则由上层的协议(例如TCP)来负责检查。TCP就是使用连接式的传送方式。
- 4位版本号：指定IP协议的版本，对于IPv4来说，其值为4，其它IPv4扩展版本则具有不同的版本号（如SIP协议和PIP协议）
- 4位头部长度：表示IP头部有多少个32bit字（4字节）。因为4位最大15，所以IP头部最长为60字节。
- 8位服务类型：3位优先级权字段（现已被忽略），4位TOS字段和1位保留字段（必须置0）.4位TOS字段分别表示：最小延迟，最大吞吐量、最高可靠性和最小费用，其中最多1个能置为1。
- 16位总长度：指整个IP数据包的长度，字节为单位。最长65535字节，由于长度超过MTU的数据报将被分片传输，所以实际传输的长度没有达到最大值。
- 16位标识：唯一标识主机发送的每个数据报。初始值由系统随机生成，每发送一个数据报，其值加一。该值在数据报分片时被复制到每个分片中，因此同一个数据报的所有分片标识值都相同
- 3位标志：第一位保留，第二位表示禁止分片，如果设置了该位，IP数据报长度超过MTU将被丢弃，返回错误。第三位表示更多分片，除了最后一个分片，其它都要置它为1.
- 13位分片偏移：该分片相较于原始IP数据报开始处（仅指数据部分）的偏移。实际偏移值是该值左移3位得到。因此除了最后一个分片，每个分片的数据部分长度必须是8的整数倍。
- 8位生存时间：数据报到达目的地之前允许经过的路由器跳数。每经过一个路由，该值减一，为0时被丢弃。并返回TCMP错误报文。
- 8位协议：用于区分上层协议。ICMP为1，TCP为6，UDP为17。
- 16位头部校验和：由发送端填充，接收端对其使用CRC算法检验数据是否被损坏。
- 32位源端IP地址：标识数据报的发送端。在传输过程中保持不变
- 32位源目的端IP地址：标识数据报的接收端。在传输过程中保持不变
- 选项字段：可变长的可选信息，最多40字节。可用的IP选项有：
- 记录路由：将数据包经由的所有路由器IP填入该段。
- 时间戳：将数据报在每个路由器被转发时的时间填入该段。
- 松散源路由选择：指定路由器IP地址列表，数据报发送过程中必须经过其中所有路由器
- 严格源路由选择：类似上面，数据报只能经过被指定的路由器。
单点传送
单点传送是一对一的传递模式。在此模式下，源端所发出的IP信息包，其IP报头中的目的地址代表单一目的设备，因此只有该目的设备能收到此IP信息包。在互联网上传送的信息包，绝大多数都是单点传送的IP信息包。
广播传送
广播传送是一对多的传递方式。在此方式下，源设备所发出的IP信息包，其IP报头中的目的地址代表某一网络，而非单一设备，因此该网络内的所有设备都能收到、并处理此类IP广播信息包。由于此特性，广播信息包必须小心使用，否则稍有不慎，便会波及该网络内的全部设备。
多点传送
多点传送是一种介于单点传送与广播传送之间的传送方式模式。多点传送也是属于一对多的传送方式，但是它与广播传送有很大的不同。广播传送必定会传送至某一个网络内的所有设备，但是多点传送却可以将信息包传送给一群指定的设备。即多点传送的IP信息包，其IP报头中的目的地址代表的是一群选定的设备。凡是属于这一群的设备都可收到此多点传送信息包。
回送地址
任何一个以数字127开头的IP地址(127.x.x.x)都叫做回送地址。它是一个保留地址，最常见的表示形式为127.0.0.1。在每个主机上对应于IP地址127.0.0.1有个接口，称为回送接口。IP协议规定，当任何程序用回送地址作为目的地址时，计算机上的协议软件不会把该数据报向网络上发送，而是把数据直接返回给本主机。因此网络号等于127的数据报文不能出现于任何网络上，主机和路由器不能为该地址广播任何寻径信息。回送地址的用途是，可以实现对本机网络协议的测试或实现本地进程间的通信。
TCP协议
传输控制协议（TCP，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议，
TCP为了保证报文传输的可靠，就给每个包一个序号，同时序号也保证了传送到接收端实体的包的按序接收。然后接收端实体对已成功收到的字节发回一个相应的确认（ACK）；如果发送端实体在合理的往返时延（RTT）内未收到确认，那么对应的数据（假设丢失了）将会被重传。
-
在数据正确性与合法性上，TCP用一个校验和函数来检验数据是否有错误，在发送和接收时都要计算校验和；同时可以使用md5认证对数据进行加密。
-
在保证可靠性上，采用超时重传和捎带确认机制。
-
在流量控制上，采用滑动窗口协议，协议中规定，对于窗口内未经确认的分组需要重传。
在拥塞控制上，采用广受好评的TCP拥塞控制算法（也称AIMD算法）。该算法主要包括四个主要部分：
（1）慢启动
每当建立一个TCP连接时或一个TCP连接发生超时重传后，该连接便进入慢启动阶段。进入慢启动后，TCP实体将拥塞窗口的大小初始化为一个报文段，即：cwnd=1。此后，每收到一个报文段的确认（ACK），cwnd值加1，即拥塞窗口按指数增加。当cwnd值超过慢启动阈值（ssthresh）或发生报文段丢失重传时，慢启动阶段结束。前者进入拥塞避免阶段，后者重新进入慢启动阶段。
（2）拥塞避免
在慢启阶段，当cwnd值超过慢启动阈值（ssthresh）后，慢启动过程结束，TCP连接进入拥塞避免阶段。在拥塞避免阶段，每一次发送的cwnd个报文段被完全确认后，才将cwnd值加1。在此阶段，cwnd值线性增加。
（3）快速重传
快速重传是对超时重传的改进。当源端收到对同一个报文的三个重复确认时，就确定一个报文段已经丢失，因此立刻重传丢失的报文段，而不必等到重传定时器（RTO）超时。以此减少不必要的等待时间。
（4）快速恢复
快速恢复是对丢失恢复机制的改进。在快速重传之后，不经过慢启动过程而直接进入拥塞避免阶段。每当快速重传后，置ssthresh=cwnd/2、cwnd=ssthresh+3。此后，每收到一个重复确认，将cwnd值加1，直至收到对丢失报文段和其后若干报文段的累积确认后，置cwnd=ssthresh，进入拥塞避免阶段。
-
客户端发送SYN（SEQ=x）报文给服务器端，进入SYN_SEND状态。
-
服务器端收到SYN报文，回应一个SYN （SEQ=y）ACK（ACK=x+1）报文，进入SYN_RECV状态。
-
客户端收到服务器端的SYN报文，回应一个ACK（ACK=y+1）报文，进入Established状态。
DNS协议
域名系统（Domain Name System，缩写：DNS）是互联网的一项服务。它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS使用TCP和UDP端口53。当前，对于每一级域名长度的限制是63个字符，域名总长度则不能超过253个字符。DNS协议是用来将域名转换为IP地址（也可以将IP地址转换为相应的域名地址）。DNS是应用层协议，事实上他是为其他应用层协议工作的，包括不限于HTTP和SMTP以及FTP，用于将用户提供的主机名解析为IP地址。
DNS数据包不会被拦截，因此可以基于DNS协议建立隐蔽信道，从而顺利穿过防火墙，在客户端和服务器之间传输数据。
DNS 定义了两种报文 ，一种为查询报文；另一种是对查询报文的响应，称为响应报文。都有12个字节的头和查询问题。
“递归解析”是最常见也是默认的一种解析方式。在这种解析方式中，如果客户端配置的本地域名服务器（Local DNS服务器）不能解析的话，则后面的查询过程全部由本地域名服务器代替DNS客户端进行查询 。迭代查询则是指所有查询工作全部由客户端自己进行。
在以下条件之一满足时，就会采用迭代解析方式：
1.在查询本地域名服务器时，如果客户端的请求报文中没有申请使用递归查询，即在DNS请求报文中的RD字段没有设置为1。
2.客户端在DNS请求报文中申请使用递归查询，但所配置的本地域名服务器禁止使用递归查询，即在应答DNS报文头部的RA字段设置为0。
QR: 查询/应答标志位，0表这是一个查询报文，1表示应答报文
opcode: 定义查询/应答的类型，0表标准查询，1表反向查询(由IP地址获得主机域名)，2表请求服务器状态
AA: 授权应答标志，仅被应答报文使用。1表示该DNS服务商是授权服务器
TC: 截断标志，仅被应答报文使用。因为UDP数据报是有长度限制的，过长的DNS报文将被截断。为1表DNS报文超过512字节并被截断
RD: 递归查询标志，1表执行递归查询：若目标DNS服务器无法解析某个主机名，则它将向其他DNS服务器继续查询，如此递归，直至获得结果并返回给客户端；0表示迭代查询：若目标DNS服务器无法解析某个主机名，则将它自己知道的其他DNS服务器的IP地址返回给客户端，让客户端决定是否继续往向其他DNS发送请求。
ZERO: 这3位未使用，须设置为0
rcode: 4位返回码，表应答状态。0表无错误，3表域名不存在
RA：允许递归标志，仅被应答报文使用。1表示DNS支持服务器递归查询
SMTP协议
SMTP是一种提供可靠且有效的电子邮件传输的协议。SMTP是建立在FTP文件传输服务上的一种邮件服务，主要用于系统之间的邮件信息传递，并提供有关来信的通知。SMTP独立于特定的传输子系统，且只需要可靠有序的数据流信道支持，SMTP的重要特性之一是其能跨越网络传输邮件，即“SMTP邮件中继”。使用SMTP，可实现相同网络处理进程之间的邮件传输，也可通过中继器或网关实现某处理进程与其他网络之间的邮件传输。
SMTP是一组用于从源地址到目的地址传送邮件的规则，并且控制信件的中转方式。SMTP协议属于TCP/IP协议族，它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器，我们就可以把E—mail寄到收信人的服务器上了，整个过程只需要几分钟。SMTP服务器是遵循SMTP协议的发送邮件服务器，用来发送或中转用户发出的电子邮件。
一个简单的SMTP交换过程，包括了连接建立、邮件传送和连接释放三个具体过程：首先建立TCP连接，SMTP调用TCP协议的25号端口监听连接请求，客户端发送HElO命令以标识发件人自己的身份，服务器做出响应。然后，客户端发送MAII)命令，服务器以OK作为Ⅱ向应，表明准备接收。客户端发送RCPT命令以标识电子邮件的收件人，可以有多个RCPT行，即一份邮件可以同时发送给多个收件人。服务器端则表示是否愿意为收件人接收邮件。协商结束后，客户端用DATA命令发送信息，以<CRLF>表示结束输入内容。最后，控制交互的任一端可选择终止会话，为此它发出一个QUIT命令，另一端用命令221响应，表示同意终止连接，双方将关闭连接。
SMTP交换过程中服务器端发出的“250 0K”含义是一切都好。与使用其他协议一样，程序只读缩写命令和每行开头的三个数字，其余文本是用于帮助用户调试邮件软件。在命令成功时，服务器返回代码250，如果失败则返回代码550（命令无法识别）、451（处理时出错）、452（存储空间不够）、421（服务器不可用）等，354则表示开始信息输入。
SMTP的局限性表现在只能发送ASCII码格式的报文，不支持中文、法文、德文等，它也不支持语音、视频的数据。通过MIME协议，对SMTP补充。MIME使用网络虚拟终端(NVT)标准，允许非ASCII码数据通过SMTP传输。
IMAP协议和POP协议
IMAP（Internet Message Access Protocol）以前称作交互邮件访问协议（Interactive Mail Access Protocol），是一个应用层协议。IMAP是斯坦福大学在1986年开发的一种邮件获取协议。它的主要作用是邮件客户端可以通过这种协议从邮件服务器上获取邮件的信息，下载邮件等。当前的权威定义是RFC3501。IMAP协议运行在TCP/IP协议之上，使用的端口是143。它与POP3协议的主要区别是用户可以不用把所有的邮件全部下载，可以通过客户端直接对服务器上的邮件进行操作。
POP是TCP/IP协议族中的一员，POP允许本地计算机上的用户代理程序连接到邮件服务器，将用户的邮件取回到本地，这样用户就能在本地阅读邮件了。本协议主要用于支持使用客户端远程管理在服务器上的电子邮件。
-
支持连接和断开两种操作模式。当使用POP3时，客户端只会在一段时间内连接到服务器，直到它下载完所有新信息，客户端即断开连接。在IMAP中，只要用户界面是活动的和下载信息内容是需要的，客户端就会一直连接服务器。对于有很多或者很大邮件的用户来说，使用IMAP4模式可以获得更快的响应时间。POP 协议支持“离线”邮件处理。邮件发送到服务器上，电子邮件客户端调用邮件客户机程序以连接服务器，并下载所有未阅读的电子邮件。这种离线访问模式是一种存储转发服务，将邮件从邮件服务器端送到个人终端机器上，一般是 PC 机或 MAC。一旦邮件发送到 PC 机或 MAC 上，邮件服务器上的邮件将会被删除。
-
支持多个客户同时连接到一个邮箱。POP3协议假定邮箱当前的连接是唯一的连接。相反，IMAP4协议允许多个用户同时访问邮箱同时提供一种机制让客户能够感知其他当前连接到这个邮箱的用户所做的操作。
-
支持访问消息中的MIME部分和部分获取。几乎所有的Internet邮件都是以MIME格式传输的。MIME允许消息包含一个树型结构，这个树型结构的叶子节点都是单一内容类型而非叶子节点都是多块类型的组合。IMAP4协议允许客户端获取任何独立的MIME部分和获取信息的一部分或者全部。这些机制使得用户无需下载附件就可以浏览消息内容或者在获取内容的同时浏览。
-
支持在服务器保留消息状态信息。通过使用在IMAP4协议中定义的标志客户端可以跟踪消息状态，例如邮件是否被读取，回复，或者删除。这些标识存储在服务器，所以多个客户在不同时间访问一个邮箱可以感知其他用户所做的操作。
-
支持在服务器上访问多个邮箱。IMAP4客户端可以在服务器上创建，重命名，或删除邮箱（通常以文件夹形式显现给用户）。支持多个邮箱还允许服务器提供对于共享和公共文件夹的访问。
-
支持服务器端搜索。IMAP4提供了一种机制给客户使客户可以要求服务器搜索匹配多个标准的信息。在这种机制下客户端就无需下载邮箱中所有信息来完成这些搜索。
-
支持一个定义良好的扩展机制。吸取早期Internet协议的经验，IMAP的扩展定义了一个明确的机制。很多对于原始协议的扩展已被提议并广泛使用。无论使用POP3还是IMAP4来获取消息，客户端均使用SMTP协议来发送消息。邮件客户端可能是POP客户端或者IMAP客户端，但都会使用SMTP。
IMAP4生来就支持加密注册机制，也支持明文传输密码。因为加密机制的使用需要客户端和服务器双方的一致，明文密码的使用是在一些客户端和服务器类型不同的情况下（例如Microsoft Windows客户端和非Windows服务器）。使用SSL也可以对IMAP4的通信进行加密，通过将在SSL上的IMAP4通信通过993端口传输或者在IMAP4线程创建的时候声明“STARTTLS”。
POP3 传输的是数据消息，这些消息可以是指令，也可以是应答。POP3 使用 TCP 作为传输协议，使用TCP的110号端口工作，它规定怎样将个人计算机连接到Internet的邮件服务器和下载电子邮件的电子协议。POP3允许用户从服务器上把邮件存储到本地主机（即自己的计算机）上，同时删除保存在邮件服务器上的邮件，而POP3服务器则是遵循POP3协议的接收邮件服务器，用来接收电子邮件的（但是目前很多POP3服务器都支持“下载邮件，服务器并不删除邮件”）。
POP3客户向POP3服务器发送命令并等待响应，POP3命令采用命令行形式，用ASCII码表示。服务器响应是由一个单独的命令行组成或多个命令行组成，响应第一行以ASCII文本+OK或-ERR（OK指成功，-ERR指失败）指出相应的操作状态是成功还是失败。
POP3三种状态
认证状态，处理状态和更新状态。当客户机与服务器建立连接时，客户机向服务器发送自己身份(账户和密码）并由服务器成功确认，即客户端由认可状态转入处理状态，在完成列出未读邮件等相应的操作后客户端发出quit命令，退出处理状态进入更新状态，开始下载未阅读过的邮件到计算机本地之后最后重返认证状态确认身份后断开与服务器的连接。
| 命令 | 参数 | 状态 | 描述 |
|---|---|---|---|
| user | username | 认可 | 此命令与下面的pass命令若成功，将导致状态转换 |
| pass | password | 认可 | |
| apop | name,digest | 认可 | 一种安全传输口令的办法，执行成功导致状态转换。 |
| stat | none | 处理 | 请求服务器发回关于邮箱的统计资料，如邮件总数和总字节数 |
| uidl | [msg#] | 处理 | 返回邮件的唯一标识符，pop3会话的每个标识符都将是唯一的 |
| list | [msg#] | 处理 | 返回邮件数量和每个邮件的大小 |
| retr | [msg#] | 处理 | 返回由参数标识的邮件的全部文本 |
| dele | [msg#] | 处理 | 服务器将由参数标识的邮件标记为删除，由quit命令执行 |
| rset | none | 处理 | 服务器将重置所有标记为删除的邮件，用于撤消dele命令 |
| top | [msg#],n | 处理 | 服务器将返回由参数标识的邮件前n行内容，n必须是正整数 |
| noop | none | 处理 | 服务器返回一个肯定的响应，不做任何操作。 |
| quit | none | 更新 | 退出 |
使用APOP命令会在传输之前被加密.只有少数邮箱软件使用APOP命令(如qpopper)。初次与POP服务器连接时,服务器发送一个ASCII码问候(一串字符串,唯一的,与当前时间有关),客户端程序把纯文本口令添加到ASCII码问候字符串之后,然后计算出该字符串的MD5单出函数消息摘要,再将账号与MD5消息摘要作为APOP命令的参数一起发送给服务器。
HTTP协议
HTTP (全称为 “超文本传输协议”) 是一种应用非常广泛的应用层协议。同其他应用层协议一样，是为了实现某一类具体应用的协议，并由某一运行在用户空间的应用程序来实现其功能。HTTP是一种协议规范，这种规范记录在文档上，为真正通过HTTP进行通信的HTTP的实现程序。
HTTP是基于B/S架构进行通信的，而HTTP的服务器端实现程序有httpd、nginx等，其客户端的实现程序主要是Web浏览器，例如Firefox、Internet Explorer、Google Chrome、Safari、Opera等，此外，客户端的命令行工具还有elink、curl等。Web服务是基于TCP的，因此为了能够随时响应客户端的请求，Web服务器需要监听在80/TCP端口。这样客户端浏览器和Web服务器之间就可以通过HTTP进行通信了。
- HTTP 协议并没有规定报头部分的键值对有多少个，使用空行就相当于是报文的结束标记或报文和正文之间的分隔符
- HTTP 在传输层依赖 TCP 协议，TCP 是面向字节流的。如果没有这个空行，就会出现”粘包问题”
粘包是指的是数据和数据之间没有没有明确的分界线，导致不能够正确的传输数据（只有TCP会粘包 UDP 永远不会粘包），粘包问题只针对于一切字节流的协议
TCP也可以称为流式协议，UDP称为数据报式协议
对于流式协议：发送端可以1K1K的发送数据，接收端可以2k2k的提取数据，也可以3K4K的提取数据，所以对于接收端应用程序中看到的数据就是一个整体，“数据流”，一条消息里面有多少字节应用程序是看不见的，所以TCP协议面向字节流，就会出现粘包问题，而UDP这种面向消息的协议，每个UDP段都是一条消息，接收方必须以消息为单位进行提取数据，不能一次提取任意字节的数据
所谓的粘包问题就是接收方不知道消息和消息之间的边界，不知道一次提取多少个字节导致的。
解决方法：
- 使用应用层协议（http,https）来封装要传输的不定长的数据包
- 再每个数据的后面添加一些特殊字符，如果遇到特殊字符，说明这条数据接收完毕了
- 每接收一个字符就要对这些字符进行判定，判定是不是特殊的字符串，效率很低
- 在发送数据快之前，在数据块之前添加一个固定大小的包头：数据头+数据块
- 数据头：存储当前数据包的总字节数，接收端先接收数据头，然后再根据数据头接收对应的大小
- 数据块：当前数据包的内容
| 消息 | 描述 |
|---|---|
| 100 Continue | 服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。 |
| 101 Switching Protocols | 服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。 |
| 200 OK | 请求成功（其后是对GET和POST请求的应答文档。） |
| 201 Created | 请求被创建完成，同时新的资源被创建。 |
| 202 Accepted | 供处理的请求已被接受，但是处理未完成。 |
| 203 Non-authoritative Information | 文档已经正常地返回，但一些应答头可能不正确，因为使用的是文档的拷贝。 |
| 204 No Content | 没有新文档。浏览器应该继续显示原来的文档。如果用户定期地刷新页面，而Servlet可以确定用户文档足够新，这个状态代码是很有用的。 |
| 205 Reset Content | 没有新文档。但浏览器应该重置它所显示的内容。用来强制浏览器清除表单输入内容。 |
| 206 Partial Content | 客户发送了一个带有Range头的GET请求，服务器完成了它。 |
3xx:重定向
| 300 Multiple Choices | 多重选择。链接列表。用户可以选择某链接到达目的地。最多允许五个地址。 |
| 301 Moved Permanently | 所请求的页面已经转移至新的url。 |
| 302 Found | 所请求的页面已经临时转移至新的url。 |
| 303 See Other | 所请求的页面可在别的url下被找到。 |
| 304 Not Modified | 未按预期修改文档。客户端有缓冲的文档并发出了一个条件性的请求（一般是提供If-Modified-Since头表示客户只想比指定日期更新的文档）。服务器告诉客户，原来缓冲的文档还可以继续使用。 |
| 305 Use Proxy | 客户请求的文档应该通过Location头所指明的代理服务器提取。 |
| 306 Unused | 此代码被用于前一版本。目前已不再使用，但是代码依然被保留。 |
| 307 Temporary Redirect | 被请求的页面已经临时移至新的url。 |
4xx:客户端错误
| 400 Bad Request | 服务器未能理解请求。 |
| 401 Unauthorized | 被请求的页面需要用户名和密码。 |
| 401.1 | 登录失败。 |
| 401.2 | 服务器配置导致登录失败。 |
| 401.3 | 由于ACL对资源的限制而未获得授权。 |
| 401.4 | 筛选器授权失败。 |
| 401.5 | ISAPI/CGI应用程序授权失败。 |
| 401.7 | 访问被Web服务器上的URL授权策略拒绝。这个错误代码为IIS 6.0所专用。 |
| 402 Payment Required | 此代码尚无法使用。 |
| 403 Forbidden | 对被请求页面的访问被禁止。 |
| 403.1 | 执行访问被禁止。 |
| 403.2 | 读访问被禁止。 |
| 403.3 | 写访问被禁止。 |
| 403.4 | 要求SSL。 |
| 403.5 | 要求SSL 128。 |
| 403.6 | IP地址被拒绝。 |
| 403.7 | 要求客户端证书。 |
| 403.8 | 站点访问被拒绝。 |
| 403.9 | 用户数过多。 |
| 403.10 | 配置无效。 |
| 403.11 | 密码更改。 |
| 403.12 | 拒绝访问映射表。 |
| 403.13 | 客户端证书被吊销。 |
| 403.14 | 拒绝目录列表。 |
| 403.15 | 超出客户端访问许可。 |
| 403.16 | 客户端证书不受信任或无效。 |
| 403.17 | 客户端证书已过期或尚未生效。 |
| 403.18 | 在当前的应用程序池中不能执行所请求的URL。这个错误代码为IIS 6.0所专用。 |
| 403.19 | 不能为这个应用程序池中的客户端执行CGI。这个错误代码为IIS 6.0所专用。 |
| 403.20 | Passport登录失败。这个错误代码为IIS 6.0所专用。 |
| 404 Not Found | 服务器无法找到被请求的页面。 |
| 404.0 | （无）–没有找到文件或目录。 |
| 404.1 | 无法在所请求的端口上访问Web站点。 |
| 404.2 | Web服务扩展锁定策略阻止本请求。 |
| 404.3 | MIME映射策略阻止本请求。 |
| 405 Method Not Allowed | 请求中指定的方法不被允许。 |
| 406 Not Acceptable | 服务器生成的响应无法被客户端所接受。 |
| 407 Proxy Authentication Required | 用户必须首先使用代理服务器进行验证，这样请求才会被处理。 |
| 408 Request Timeout | 请求超出了服务器的等待时间。 |
| 409 Conflict | 由于冲突，请求无法被完成。 |
| 410 Gone | 被请求的页面不可用。 |
| 411 Length Required | "Content-Length"未被定义。如果无此内容，服务器不会接受请求。 |
| 412 Precondition Failed | 请求中的前提条件被服务器评估为失败。 |
| 413 Request Entity Too Large | 由于所请求的实体的太大，服务器不会接受请求。 |
| 414 Request-url Too Long | 由于url太长，服务器不会接受请求。当post请求被转换为带有很长的查询信息的get请求时，就会发生这种情况。 |
| 415 Unsupported Media Type | 由于媒介类型不被支持，服务器不会接受请求。 |
| 416 Requested Range Not Satisfiable | 服务器不能满足客户在请求中指定的Range头。 |
| 417 Expectation Failed | 执行失败。 |
| 423 | 锁定的错误。 |
5xx:服务器错误
| 500 Internal Server Error | 请求未完成。服务器遇到不可预知的情况。 |
| 500.12 | 应用程序正忙于在Web服务器上重新启动。 |
| 500.13 | Web服务器太忙。 |
| 500.15 | 不允许直接请求Global.asa。 |
| 500.16 | UNC授权凭据不正确。这个错误代码为IIS 6.0所专用。 |
| 500.18 | URL授权存储不能打开。这个错误代码为IIS 6.0所专用。 |
| 500.100 | 内部ASP错误。 |
| 501 Not Implemented | 请求未完成。服务器不支持所请求的功能。 |
| 502 Bad Gateway | 请求未完成。服务器从上游服务器收到一个无效的响应。 |
| 502.1 | CGI应用程序超时。 |
| 502.2 | CGI应用程序出错。 |
| 503 Service Unavailable | 请求未完成。服务器临时过载或宕机。 |
| 504 Gateway Timeout | 网关超时。 |
| 505 HTTP Version Not Supported | 服务器不支持请求中指明的HTTP版本。 |
HTTPS协议
HTTPS （全称：Hypertext Transfer Protocol Secure [5] ），是以安全为目标的 HTTP 通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性。HTTPS 在HTTP 的基础下加入SSL，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。 HTTPS 存在不同于 HTTP 的默认端口及一个加密/身份验证层（在 HTTP与 TCP 之间）。这个系统提供了身份验证与加密通讯方法。它被广泛用于万维网上安全敏感的通讯，例如交易支付等方面。
HTTPS 协议是由 HTTP 加上 TLS/SSL 协议构建的可进行加密传输、身份认证的网络协议，主要通过数字证书、加密算法、非对称密钥等技术完成互联网数据传输加密，实现互联网传输安全保护。设计目标主要有三个。
（1）数据保密性：保证数据内容在传输的过程中不会被第三方查看。就像快递员传递包裹一样，都进行了封装，别人无法获知里面装了什么 。
（2）数据完整性：及时发现被第三方篡改的传输内容。就像快递员虽然不知道包裹里装了什么东西，但他有可能中途掉包，数据完整性就是指如果被掉包，我们能轻松发现并拒收。
（3）身份校验安全性：保证数据到达用户期望的目的地。就像我们邮寄包裹时，虽然是一个封装好的未掉包的包裹，但必须确定这个包裹不会送错地方，通过身份校验来确保送对了地方
双向的身份认证
客户端和服务端在传输数据之前,会通过基于X.509证书对双方进行身份认证 。具体过程如下 :
客户端发起 SSL 握手消息给服务端要求连接。
服务端将证书发送给客户端。
客户端检查服务端证书，确认是否由自己信任的证书签发机构签发。 如果不是，将是否继续通讯的决定权交给用户选择 ( 注意，这里将是一个安全缺陷 )。如果检查无误或者用户选择继续，则客户端认可服务端的身份。
服务端要求客户端发送证书，并检查是否通过验证。失败则关闭连接，认证成功则从客户端证书中获得客户端的公钥，一般为1024位或者 2048位。到此，服务器客户端双方的身份认证结束，双方确保身份都是真实可靠的。
数据传输的机密性
客户端和服务端在开始传输数据之前，会协商传输过程需要使用的加密算法。 客户端发送协商请求给服务端, 其中包含自己支持的非对称加密的密钥交换算法 ( 一般是RSA), 数据签名摘要算法 ( 一般是SHA或者MD5) , 加密传输数据的对称加密算法 ( 一般是DES),以及加密密钥的长度。 服务端接收到消息之后，选中安全性最高的算法，并将选中的算法发送给客户端，完成协商。客户端生成随机的字符串，通过协商好的非对称加密算法，使用服务端的公钥对该字符串进行加密，发送给服务端。 服务端接收到之后，使用自己的私钥解密得到该字符串。在随后的数据传输当中，使用这个字符串作为密钥进行对称加密。
防止重放攻击
SSL使用序列号来保护通讯方免受报文重放攻击。这个序列号被加密后作为数据包的负载。在整个SSL握手中,都有一个唯一的随机数来标记SSL握手。 这样防止了攻击者嗅探整个登录过程，获取到加密的登录数据之后，不对数据进行解密, 而直接重传登录数据包的攻击手法。
可以看到，鉴于电子商务等安全上的需求，HTTPS对比HTTP，在安全方面已经取得了极大的增强。总结来说，HTTPS的改进点在于创造性的使用了非对称加密算法，在不安全的网路上，安全的传输了用来进行对称加密的密钥，综合利用了非对称加密的安全性和对称加密的快速性。
① 客户端将它所支持的算法列表和一个用作产生密钥的随机数发送给服务器；
② 服务器从算法列表中选择一种加密算法，并将它和一份包含服务器公用密钥的证书发送给客户端；该证书还包含了用于认证目的的服务器标识，服务器同时还提供了一个用作产生密钥的随机数 ；
③ 客户端对服务器的证书进行验证（有关验证证书，可以参考数字签名），并抽取服务器的公用密钥；然后，再产生一个称作 pre_master_secret 的随机密码串，并使用服务器的公用密钥对其进行加密（参考非对称加 / 解密），并将加密后的信息发送给服务器；
④ 客户端与服务器端根据 pre_master_secret 以及客户端与服务器的随机数值独立计算出加密和 MAC密钥（参考 DH密钥交换算法）；
⑥ 服务器将所有握手消息的 MAC 值发送给客户端 。
优点
-
使用 HTTPS 协议可认证用户和服务器，确保数据发送到正确的客户机和服务器 ；
-
HTTPS 协议是由 SSL+HTTP构建的可进行加密传输、身份认证的网络协议，要比 HTTP安全，可防止数据在传输过程中被窃取、改变，确保数据的完整性 。
-
HTTPS 是现行架构下最安全的解决方案，虽然不是绝对安全，但它大幅增加了中间人攻击的成本 。
缺点
-
相同网络环境下，HTTPS 协议会使页面的加载时间延长近 50%，增加 10%到 20%的耗电。此外，HTTPS 协议还会影响缓存，增加数据开销和功耗。
-
HTTPS 协议的安全是有范围的，在黑客攻击、拒绝服务攻击和服务器劫持等方面几乎起不到什么作用 。
-
成本增加。部署 HTTPS 后，因为 HTTPS 协议的工作要增加额外的计算资源消耗，例如 SSL 协议加密算法和 SSL 交互次数将占用一定的计算资源和服务器成本。在大规模用户访问应用的场景下，服务器需要频繁地做加密和解密操作，几乎每一个字节都需要做加解密，这就产生了服务器成本。随着云计算技术的发展，数据中心部署的服务器使用成本在规模增加后逐步下降，相对于用户访问的安全提升，其投入成本已经下降到可接受程度。
图片来源https://blog.csdn.net/qq_39971387/article/details/121137580
SSL、TLS协议
SSL（Secure Socket Layer）安全套接层是Netscape公司率先采用的网络安全协议。它是在传输通信协议（TCP/IP）上实现的一种安全协议，采用公开密钥技术。SSL广泛支持各种类型的网络，同时提供三种基本的安全服务，它们都使用公开密钥技术。
SSL协议的优势在于它是与应用层协议独立无关的。高层的应用层协议（例如：HTTP、FTP、Telnet等等）能透明的建立于SSL协议之上。SSL协议在应用层协议通信之前就已经完成加密算法、通信密钥的协商以及服务器认证工作。在此之后应用层协议所传送的数据都会被加密，从而保证通信的私密性。
一次SSL握手将发生以下事件：
A）客户机和服务器交换X．509证明以便双方相互确认。在此过程中可以交换全部的证明链，也可以选择只交换一些底层的证明。证明的验证包括：检验有效日期和验证证明的签名权限。
B）客户机随机地产生一组密钥，它们用于信息加密和MAC计算。这些密钥要先通过服务器的公开密钥加密再送往服务器。总共有四个密钥分别用于服务器到客户机以及客户机到服务器的通信。
C）信息加密算法（用于加密）和Hash函数（用于确保信息完整性）是综合在一起使用的。Netscape的SSL实现方案是：客户机提供自己支持的所有算法清单，服务器选择它认为最有效的密码。服务器管理者可以使用或禁止某些特定的密码。
通过SSL握手协议、SSL密文协议、SSL告警协议和SSL记录协议实现了安全套接层的安全，对于web安全我们完全可以采用上述手段，因为它们的安全技术是可靠的。
SSL（Secure Sockets Layer）是网景公司（Netscape）设计的主要用于Web的安全传输协议。这种协议在Web上获得了广泛的应用。IETF将SSL作了标准化，即RFC2246，并将其称为TLS（Transport Layer Security），其最新版本是RFC5246,版本1.2。从技术上讲，TLS1.0与SSL3.0的差异非常微小。
TLS利用密钥算法在互联网上提供端点身份认证与通讯保密，其基础是公钥基础设施（public key infrastructure，PKI）。不过在实现的典型例子中，只有网络服务者被可靠身份验证，而其客户端则不一定。这是因为公钥基础设施普遍商业运营，电子签名证书通常需要付费购买。协议的设计在某种程度上能够使主从式架构应用程序通讯本身预防窃听、干扰（Tampering）、和消息伪造。
TLS包含三个基本阶段：
在第一阶段，客户端与服务器协商所用密码算法。 当前广泛实现的算法选择如下：
-
公钥私钥非对称密钥保密系统：RSA、Diffie-Hellman、DSA及Fortezza；
TLS/SSL有多样的安全保护措施：
-
所有的记录层数据均被编号，用于消息验证码校验。
ARP协议
地址解析协议，即ARP（Address Resolution Protocol），是根据IP地址获取物理地址的一个TCP/IP协议。主机发送信息时将包含目标IP地址的ARP请求广播到局域网络上的所有主机，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。地址解析协议是建立在网络中各个主机互相信任的基础上的，局域网络上的主机可以自主发送ARP应答消息，其他主机收到应答报文时不会检测该报文的真实性就会将其记入本机ARP缓存；由此攻击者就可以向某一主机发送伪ARP应答报文，使其发送的信息无法到达预期的主机或到达错误的主机，这就构成了一个ARP欺骗。ARP命令可用于查询本机ARP缓存中IP地址和MAC地址的对应关系、添加或删除静态对应关系等。相关协议有RARP、代理ARP。NDP用于在IPv6中代替地址解析协议。
OSI模型把网络工作分为七层，IP地址在OSI模型的第三层，MAC地址在第二层，彼此不直接打交道。在通过以太网发送IP数据包时，需要先封装第三层（32位IP地址）、第二层（48位MAC地址）的包头，但由于发送时只知道目标IP地址，不知道其MAC地址，又不能跨第二、三层，所以需要使用地址解析协议。使用地址解析协议，可根据网络层IP数据包包头中的IP地址信息解析出目标硬件地址（MAC地址）信息，以保证通信的顺利进行。
ARP缓存是个用来储存IP地址和MAC地址的缓冲区，其本质就是一个IP地址-->MAC地址的对应表，表中每一个条目分别记录了网络上其他主机的IP地址和对应的MAC地址。每一个以太网或令牌环网络适配器都有自己单独的表。当地址解析协议被询问一个已知IP地址节点的MAC地址时，先在ARP缓存中查看，若存在，就直接返回与之对应的MAC地址，若不存在，才发送ARP请求向局域网查询。
为使广播量最小，ARP维护IP地址到MAC地址映射的缓存以便将来使用。ARP缓存可以包含动态和静态项目。动态项目随时间推移自动添加和删除。每个动态ARP缓存项的潜在生命周期是10分钟。新加到缓存中的项目带有时间戳，如果某个项目添加后2分钟内没有再使用，则此项目过期并从ARP缓存中删除；如果某个项目已在使用，则又收到2分钟的生命周期；如果某个项目始终在使用，则会另外收到2分钟的生命周期，一直到10分钟的最长生命周期。静态项目一直保留在缓存中，直到重新启动计算机为止。
ARP欺骗
地址解析协议是建立在网络中各个主机互相信任的基础上的，它的诞生使得网络能够更加高效的运行，但其本身也存在缺陷：
ARP地址转换表是依赖于计算机中高速缓冲存储器动态更新的，而高速缓冲存储器的更新是受到更新周期的限制的，只保存最近使用的地址的映射关系表项，这使得攻击者有了可乘之机，可以在高速缓冲存储器更新表项之前修改地址转换表，实现攻击。ARP请求为广播形式发送的，网络上的主机可以自主发送ARP应答消息，并且当其他主机收到应答报文时不会检测该报文的真实性就将其记录在本地的MAC地址转换表，这样攻击者就可以向目标主机发送伪ARP应答报文，从而篡改本地的MAC地址表。ARP欺骗可以导致目标计算机与网关通信失败，更会导致通信重定向，所有的数据都会通过攻击者的机器，因此存在极大的安全隐患。
防御措施
-
不要把网络安全信任关系建立在IP基础上或MAC基础上（RARP同样存在欺骗的问题），理想的关系应该建立在IP+MAC基础上。
-
设置静态的MAC-->IP对应表，不要让主机刷新设定好的转换表。
-
除非很有必要，否则停止使用ARP，将ARP做为永久条目保存在对应表中。
-
使用ARP服务器。通过该服务器查找自己的ARP转换表来响应其他机器的ARP广播。确保这台ARP服务器不被黑。
-
使用“proxy”代理IP的传输。
-
使用硬件屏蔽主机。设置好路由，确保IP地址能到达合法的路径（静态配置路由ARP条目），注意，使用交换集线器和网桥无法阻止ARP欺骗。
-
管理员定期用响应的IP包中获得一个RARP请求，然后检查ARP响应的真实性。
-
管理员定期轮询，检查主机上的ARP缓存。
-
若感染ARP病毒，可以通过清空ARP缓存、指定ARP对应关系、添加路由信息、使用防病毒软件等方式解决。
NDP协议
地址解析协议是IPv4中必不可少的协议，但在IPv6中将不再存在地址解析协议。在IPv6中，地址解析协议的功能将由NDP（邻居发现协议，Neighbor Discovery Protocol）实现，它使用一系列IPv6控制信息报文（ICMPv6）来实现相邻节点（同一链路上的节点）的交互管理，并在一个子网中保持网络层地址和数据链路层地址之间的映射。邻居发现协议中定义了5种类型的信息：路由器宣告、路由器请求、路由重定向、邻居请求和邻居宣告。与ARP相比，NDP可以实现路由器发现、前缀发现、参数发现、地址自动配置、地址解析（代替ARP和RARP）、下一跳确定、邻居不可达检测、重复地址检测、重定向等更多功能。
NDP与ARP的区别
-
IPv4中地址解析协议是独立的协议，负责IP地址到MAC地址的转换，对不同的数据链路层协议要定义不同的地址解析协议。IPv6中NDP包含了ARP的功能，且运行于因特网控制信息协议ICMPv6上，更具有一般性，包括更多的内容，而且适用于各种数据链路层协议；
ICMP协议
ICMP（Internet Control Message Protocol）Internet控制报文协议。它是TCP/IP协议簇的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要的作用。
它属于网络层协议，主要用于在主机与路由器之间传递控制信息，包括报告错误、交换受限控制和状态信息等。当遇到IP数据无法访问目标、IP路由器无法按当前的传输速率转发数据包等情况时，会自动发送ICMP消息。
NTLM协议
NTLM使用在Windows NT和Windows 2000 Server（or later）工作组环境中（Kerberos用在域模式下）。在AD域环境中，如果需要认证Windows NT系统，也必须采用NTLM。较之Kerberos，基于NTLM的认证过程要简单很多。NTLM采用一种质询/应答（Challenge/Response）消息交换模式。
步骤一：用户通过输入Windows帐号和密码登录客户端主机。在登录之前，客户端会缓存输入密码的哈希值，原始密码会被丢弃（“原始密码在任何情况下都不能被缓存”，这是一条基本的安全准则）。成功登录客户端Windows的用户如果试图访问服务器资源，需要向对方发送一个请求。该请求中包含一个以明文表示的用户名。
步骤二：服务器接收到请求后，生成一个16位的随机数。这个随机数被称为Challenge或者Nonce。服务器在将该Challenge发送给客户端之前，该Challenge会先被保存起来。Challenge是以明文的形式发送的。
步骤三：客户端在接收到服务器发回的Challenge后，用在步骤一中保存的密码哈希值对其加密，然后再将加密后的Challenge发送给服务器。
步骤四：服务器接收到客户端发送回来的加密后的Challenge后，会向DC（Domain）发送针对客户端的验证请求。该请求主要包含以下三方面的内容：客户端用户名；客户端密码哈希值加密的Challenge和原始的Challenge。
步骤五：DC根据用户名获取该帐号的密码哈希值，对原始的Challenge进行加密。如果加密后的Challenge和服务器发送的一致，则意味着用户拥有正确的密码，验证通过，否则验证失败。DC将验证结果发给服务器，并最终反馈给客户端。
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
0
0- 0
已为社区贡献3条内容
所有评论(0)