TCP是什么?
具体的关于TCP是什么,我不打算详细的说了;当你看到这篇文章时,我想你也知道TCP的概念了,想要更深入的了解TCP的工作,我们就继续。它只是一个超级麻烦的协议,而它又是互联网的基础,也是每个程序员必备的基本功。首先来看看OSI的七层模型:
我们需要知道TCP工作在网络OSI的七层模型中的第四层——Transport层,IP在第三层——Network层,ARP在第二层——Data Link层;在第二层上的数据,我们把它叫Frame,在第三层上的数据叫Packet,第四层的数据叫Segment。 同时,我们需要简单的知道,数据从应用层发下来,会在每一层都会加上头部信息,进行封装,然后再发送到数据接收端。这个基本的流程你需要知道,就是每个数据都会经过数据的封装和解封装的过程。 在OSI七层模型中,每一层的作用和对应的协议如下:
TCP是一个协议,那这个协议是如何定义的,它的数据格式是什么样子的呢?要进行更深层次的剖析,就需要了解,甚至是熟记TCP协议中每个字段的含义。
上面就是TCP协议头部的格式,由于它太重要了,是理解其它内容的基础,下面就将每个字段的信息都详细的说明一下。
- Source Port和Destination Port:分别占用16位,表示源端口号和目的端口号;用于区别主机中的不同进程,而IP地址是用来区分不同的主机的,源端口号和目的端口号配合上IP首部中的源IP地址和目的IP地址就能唯一的确定一个TCP连接;
- Sequence Number:用来标识从TCP发端向TCP收端发送的数据字节流,它表示在这个报文段中的的第一个数据字节在数据流中的序号;主要用来解决网络报乱序的问题;
- Acknowledgment Number:32位确认序列号包含发送确认的一端所期望收到的下一个序号,因此,确认序号应当是上次已成功收到数据字节序号加1。不过,只有当标志位中的ACK标志(下面介绍)为1时该确认序列号的字段才有效。主要用来解决不丢包的问题;
- Offset:给出首部中32 bit字的数目,需要这个值是因为任选字段的长度是可变的。这个字段占4bit(最多能表示15个32bit的的字,即4*15=60个字节的首部长度),因此TCP最多有60字节的首部。然而,没有任选字段,正常的长度是20字节;
- Window:窗口大小,也就是有名的滑动窗口,用来进行流量控制;这是一个复杂的问题,这篇博文中并不会进行总结的;
- TCP Flags:TCP首部中有6个标志比特,它们中的多个可同时被设置为1,主要是用于操控TCP的状态机的,依次为
URG
,ACK
,PSH
,RST
,SYN
,FIN
。每个标志位的意思如下:- URG:此标志表示TCP包的紧急指针域(后面马上就要说到)有效,用来保证TCP连接不被中断,并且督促中间层设备要尽快处理这些数据;
- ACK:此标志表示应答域有效,就是说前面所说的TCP应答号将会包含在TCP数据包中;有两个取值:0和1,为1的时候表示应答域有效,反之为0;
- PSH:这个标志位表示Push操作。所谓Push操作就是指在数据包到达接收端以后,立即传送给应用程序,而不是在缓冲区中排队;
- RST:这个标志表示连接复位请求。用来复位那些产生错误的连接,也被用来拒绝错误和非法的数据包;
- SYN:表示同步序号,用来建立连接。
SYN
标志位和ACK
标志位搭配使用,当连接请求的时候,SYN
=1,ACK
=0;连接被响应的时候,SYN
=1,ACK
=1;这个标志的数据包经常被用来进行端口扫描。扫描者发送一个只有SYN
的数据包,如果对方主机响应了一个数据包回来 ,就表明这台主机存在这个端口;但是由于这种扫描方式只是进行TCP三次握手的第一次握手,因此这种扫描的成功表示被扫描的机器不很安全,一台安全的主机将会强制要求一个连接严格的进行TCP的三次握手; - FIN: 表示发送端已经达到数据末尾,也就是说双方的数据传送完成,没有数据可以传送了,发送
FIN
标志位的TCP数据包后,连接将被断开。这个标志的数据包也经常被用于进行端口扫描。
好了,基本知识都已经准备好了,开始下一段的征程吧。
三次握手又是什么?
TCP是面向连接的,无论哪一方向另一方发送数据之前,都必须先在双方之间建立一条连接。在TCP/IP协议中,TCP协议提供可靠的连接服务,连接是通过三次握手进行初始化的。三次握手的目的是同步连接双方的序列号和确认号并交换 TCP窗口大小信息。这就是面试中经常会被问到的TCP三次握手。只是了解TCP三次握手的概念,对你获得一份工作是没有任何帮助的,你需要去了解TCP三次握手中的一些细节。先来看图说话。
1.一开始Client和Server是两个互不相关的东西,来自不同的星球。但是这时的Server绑定了IP地址和端口号,在自己的地盘时刻的监听。这时的Server端所处的状态叫做LISTEN。
2.忽然有一天Client有事情要求Server帮忙,由于Server是TCP通信,所以它要先进行连接,然后才可以把要求Server的事情告诉它。为了连接,它调用了connect()这个函数,这时发送给Server的数据是SYN=1,seq=x,这时的Client段所处的状态叫做SYN_SENT。
3.Server接收到Client的连接请求以后,就会对这个请求的帧进行回复,所以原本阻塞的accept()函数就接收到一个连接请求,同时回复给Client的帧为SYN=1,seq=y,ACK=x+1。这时的Server端从上一个状态变为SYN_RCVD这个状态。
4.这时的Client收到了Server的应答,就会很高兴,但是它明白,这时的Server不是一个完全准备好的通信端,还需要它的第三次握手,所以它要对刚收到的帧进行确认。所以回复的数据帧是ACK=y+1。这时的Client就进入了连接建立的状态。当Server收到这个确认帧之后,Server也进入了连接建立的状态。但是这里注意,最后Client发送给Server的这个确认帧是没有数据的,因为这里没有seq的值,只是一个ACK的确认。具体能不能带数据,看下面解释。
5.通信连接都建立起来了,这时的Client就可以把要请求Server帮的忙告诉Server了,所以它会先发数据给Server,调用系统调用write发送数据。这时的seq=x+1,ACK=y+1(这两个号码都是接上面的)。然后Server系统调用接收数据。并对这个帧进行确认,ACK=x+2。注意一点:这个确认帧也没有携带数据,所以它不会占用序列号。
还有注意一点:序号的范围是无符号的32位整数,这个序号的值是会回绕的,初始值是随机设定的。
多么清晰的一张图,当然了,也不是我画的,我也只是引用过来说明问题了。
第一次握手:建立连接。客户端发送连接请求报文段,将SYN
位置为1,Sequence Number
为x;然后,客户端进入SYN_SEND
状态,等待服务器的确认;TCP规定SYN报文不能携带数据,但是要消耗一个序号。
第二次握手:服务器收到SYN
报文段。服务器收到客户端的SYN
报文段,需要对这个SYN
报文段进行确认,设置Acknowledgment Number
为x+1(Sequence Number
+1);同时,自己自己还要发送SYN
请求信息,将SYN
位置为1,Sequence Number
为y;服务器端将上述所有信息放到一个报文段(即SYN+ACK
报文段)中,一并发送给客户端,此时服务器进入SYN_RECV
状态;
第三次握手:客户端收到服务器的SYN+ACK
报文段。然后将Acknowledgment Number
设置为y+1,向服务器发送ACK
报文段,这个报文段发送完毕以后,客户端和服务器端都进入ESTABLISHED
状态,完成TCP三次握手。TCP规定:ACK报文段可以携带数据,但如果不携带数据则不消耗序号。
完成了三次握手,客户端和服务器端就可以开始传送数据。以上就是TCP三次握手的总体介绍。
为什么需要三次握手?
既然总结了TCP的三次握手,那为什么非要三次呢?怎么觉得两次就可以完成了。那TCP为什么非要进行三次连接呢?在谢希仁的《计算机网络》中是这样说的:
为了防止已失效的连接请求报文段突然又传送到了服务端,因而产生错误。
在书中同时举了一个例子,如下:
“已失效的连接请求报文段”的产生在这样一种情况下:
client发出的第一个连接请求报文段并没有丢失,而是在某个网络结点长时间的滞留了,以致延误到连接释放以后的某个时间才到达server。
本来这是一个早已失效的报文段。但server收到此失效的连接请求报文段后,就误认为是client再次发出的一个新的连接请求。
于是就向client发出确认报文段,同意建立连接。假设不采用“三次握手”,那么只要server发出确认,新的连接就建立了。
由于现在client并没有发出建立连接的请求,因此不会理睬server的确认,也不会向server发送数据。
但server却以为新的运输连接已经建立,并一直等待client发来数据。这样,server的很多资源就白白浪费掉了。
采用“三次握手”的办法可以防止上述现象发生。
例如刚才那种情况,client不会向server的确认发出确认。server由于收不到确认,就知道client并没有要求建立连接。”
四次挥手是什么?
第一次挥手:主机1(可以使客户端,也可以是服务器端),设置Sequence Number
和Acknowledgment Number
,向主机2发送一个FIN
报文段;此时,主机1进入FIN_WAIT_1
状态;这表示主机1没有数据要发送给主机2了。
注意:这时的序号等于前面已经传送过的数据的最后一个字节的序号加1,并且TCP规定,FIN报文即使不携带数据,也要消耗一个序号。
第二次挥手:主机2收到了主机1发送的FIN
报文段,向主机1回一个ACK
报文段,Acknowledgment Number
为Sequence Number
加1;主机1进入FIN_WAIT_2
状态,等待主机2发出连接释放报文段;此时的这个确认报文的自己的序号是v,等于B前面已经传送过的数据的最后一个字节的序号加1。这时主机1到主机2方向的连接已经释放掉了,TCP处于半关闭状态,也就是说主机1已经没有数据要发送了,但是如果主机2还有数据要发送,主机1仍要接收。
第三次挥手:如果主机2已经没有数据向1发送了,上层的应用进程就通知TCP释放连接。这时主机2发出的连接释放报文必须使FIN=1,假设现在主机2的序号为w(在半关闭状态下主机2可能又发送了一些数据)。主机2还必须重复上次的确认号ack=u+1。这时的主机2就进入LAST-ACK状态,等待A的确认。
第四次挥手:主机1在收到主机2的连接释放报文后,必须对此发出确认,然后主机1就进入了TIME-WAIT状态。注意,这时的TCP连接还没有释放掉,必须等待2MSL(最长报文寿命)A才能进入到CLOSED状态。
解释一下A在TIME-WAIT状态必须等待2MSL的原因?
第一:为了保证主机1发送的最后一个ACK报文能够到达主机2。这个ACK的报文有可能丢失,因为使处于LAST-ACK状态的主机2收不到FIN+ACK的确认报文,主机2会超时重传这个FIN+ACK报文段。而A就能够在2MSL的时间内收到这个重传的FIN+ACK的报文。接着主机1重传一次确认,重新启动2MSL计时器。如果主机1不在TIME-WAIT状态下等待一段时间,而是在发送完ACK报文后立即释放连接,那么就无法收到重传的FIN+ACK报文,因而也不会再一次的发送确认报文,那么主机2就不能按照正常的步骤进入到CLOSED状态。
第二:就是为了防止上一节提到“已失效的连接请求报文”出现在本连接中。主机1发送完最后一个ACK的报文后,再经过2MSL就可以是本连接持续的时间内所产生的所有报文都从网络中消失。这样就可以是下一个新的连接中不会出现这种旧的连接请求报文。不然的话,如果没有这个等待时间,那么万一立刻就有新的连接建立的需求,那么新的连接建立起来,上一次的报文还在网络中没有完全的消失,这样的话两次的报文就混在一起了,等待的这个时间就是延缓下次连接的建立时间,让本次的报文彻底的消失在网络中。
为什么四次挥手呢?
那四次分手又是为何呢?TCP协议是一种面向连接的、可靠的、基于字节流的运输层通信协议。TCP是全双工模式,这就意味着,当主机1发出FIN
报文段时,只是表示主机1已经没有数据要发送了,主机1告诉主机2,它的数据已经全部发送完毕了;但是,这个时候主机1还是可以接受来自主机2的数据;当主机2返回ACK
报文段时,表示它已经知道主机1没有数据发送了,但是主机2还是可以发送数据到主机1的;当主机2也发送了FIN
报文段时,这个时候就表示主机2也没有数据要发送了,就会告诉主机1,我也没有数据要发送了,之后彼此就会愉快的中断这次TCP连接。如果要正确的理解四次分手的原理,就需要了解四次分手过程中的状态变化。
-
FIN_WAIT_1
: 这个状态要好好解释一下,其实FIN_WAIT_1
和FIN_WAIT_2
状态的真正含义都是表示等待对方的FIN报文。而这两种状态的区别是:FIN_WAIT_1
状态实际上是当SOCKET在ESTABLISHED状态时,它想主动关闭连接,向对方发送了FIN
报文,此时该SOCKET即进入到FIN_WAIT_1
状态。而当对方回应ACK报文后,则进入到FIN_WAIT_2
状态,当然在实际的正常情况下,无论对方何种情况下,都应该马上回应ACK报文,所以FIN_WAIT_1
状态一般是比较难见到的,而FIN_WAIT_2
状态还有时常常可以用netstat看到。(主动方) -
FIN_WAIT_2
:上面已经详细解释了这种状态,实际上FIN_WAIT_2
状态下的SOCKET,表示半连接,也即有一方要求close连接,但另外还告诉对方,我暂时还有点数据需要传送给你(ACK信息),稍后再关闭连接。(主动方) -
CLOSE_WAIT
:这种状态的含义其实是表示在等待关闭。怎么理解呢?当对方close一个SOCKET后发送FIN
报文给自己,你系统毫无疑问地会回应一个ACK报文给对方,此时则进入到CLOSE_WAIT
状态。接下来呢,实际上你真正需要考虑的事情是察看你是否还有数据发送给对方,如果没有的话,那么你也就可以 close这个SOCKET,发送FIN
报文给对方,也即关闭连接。所以你在CLOSE_WAIT
状态下,需要完成的事情是等待你去关闭连接。(被动方) -
LAST_ACK
: 这个状态还是比较容易好理解的,它是被动关闭一方在发送FIN
报文后,最后等待对方的ACK报文。当收到ACK报文后,也即可以进入到CLOSED可用状态了。(被动方) -
TIME_WAIT
: 表示收到了对方的FIN报文,并发送出了ACK报文,就等2MSL后即可回到CLOSED可用状态了。如果FINWAIT1状态下,收到了对方同时带FIN标志和ACK标志的报文时,可以直接进入到TIME_WAIT
状态,而无须经过FIN_WAIT_2
状态。(主动方) -
CLOSED
: 表示连接中断。
最后说一下三次握手的缺陷:SYN FLOOD
问题就出在TCP连接的三次握手中,假设一个用户向服务器发送了SYN报文后突然死机或掉
线,那么服务器在發出SYN+ACK應答報文後是無法收到用戶端的ACK報文的(第三次握手無
法完成),這種情況下服务器端一般會重試(再次發送SYN+ACK給用戶端)並等待一段時
間後丟棄這個未完成的連接,這段時間的長度我們稱為SYN Timeout,一般來說這個時間
是分钟的数量级(大约为30秒-2分钟);一個用戶出現异常导致伺服器的一個線程等待1
分钟並不是什麼很大的問題,但如果有一個恶意的攻擊者大量类比這種情況,伺服器端將
為了维护一個非常大的半連接列表而消耗非常多的資源。
数以万计的半連接,即使是簡單的保存並遍历也會消耗非常多的CPU時間和内存,
何況還要不斷對這個列表中的IP進行SYN+ACK的重試。實際上如果伺服器的TCP/IP棧不
夠強大,最後的結果往往是堆栈溢出崩潰---即使伺服器端的系統足夠強大,伺服器端也
將忙於處理攻擊者偽造的TCP連接請求而無暇理睬客戶的正常請求(毕竟用戶端的正常請
求比率非常之小),此時從正常客戶的角度看來,伺服器失去响应,這種情況我們稱作:
伺服器端受到了SYN Flood攻擊(SYN洪水攻擊)。 从防护角度來說,有幾種簡單的解決方法,第一種是縮短SYN Timeout時間,由於SYN
Flood攻擊的效果取決於伺服器上保持的SYN半連接數,這個值=SYN攻擊的頻度 x SYN
Timeout,所以通過縮短從接收到SYN報文到確定這個報文無效並丟棄改連接的時間,例如
設置為20秒以下(過低的SYN Timeout設置可能會影響客戶的正常訪問),可以成倍的降
低伺服器的負荷。 第二種方法是設置SYN Cookie,就是給每一個請求連接的IP位址分配一個Cookie,如果短
時間內連續受到某個IP的重複SYN報文,就認定是受到了攻擊,以後從這個IP地址來的包
會被一概丟棄。 可是上述的兩種方法只能對付比較原始的SYN Flood攻擊,縮短SYN Timeout時間僅在對方
攻擊頻度不高的情況下生效,SYN Cookie更依賴于對方使用真實的IP位址,如果攻擊者以
數萬/秒的速度發送SYN報文,同時利用SOCK_RAW隨機改寫IP報文中的源位址,以上的方法
將毫無用武之地。