一次奇妙的http请求之旅

2023-01-07 09:24:46

一次奇妙的http请求之旅

TCP/IP不是一个协议，而是一个协议族的统称。里面包括IP协议、IMCP协议、TCP协议。

这里有几个需要注意的知识点：

  • 互联网地址：也就是IP地址，一般为网络号+子网号+主机号
  • 域名系统：通俗的来说，就是一个数据库，可以将主机名转换成IP地址
  • RFC：TCP/IP协议的标准文档
  • 端口号：一个逻辑号码，IP包所带有的标记
  • Socket：应用编程接口

数据链路层的工作特性：

  • 为IP模块发送和接收IP数据报
  • 为ARP模块发送ARP请求和接收ARP应答（ARP：地址解析协议，将IP地址转换成MAC地址）
  • 为RARP发送RARP请求和接收RARP应答

接下来我们了解一下TCP/IP的工作流程：

数据链路层从ARP得到数据的传递信息，再从IP得到具体的数据信息

一：IP协议

一次奇妙的http请求之旅

IP协议头当中，最重要的就是TTL（IP允许通过的最大网段数量）字段（八位），规定该数据包能穿过几个路由之后才会被抛

二：TCP协议

TCP/IP的三次握手，四次分手

首先我们先来了解TCP报文段

————https://www.toutiao.com/a6587736726557426184

一次奇妙的http请求之旅

重要的标志我在图中也有标记，重点了解标志位

ACK：确认序号有效

RST：重置连接

SYN：发起了一个新连接

FIN：释放一个连接

三次握手的过程（客户端我们用A表示，服务器端用B表示）

前提：A主动打开，B被动打开

一次奇妙的http请求之旅
  1. 在建立连接之前，B先创建TCB（传输控制块），准备接受客户进程的连接请求，处于LISTEN（监听）状态
  2. A首先创建TCB，然后向B发出连接请求，SYN置1，同时选择初始序号seq=x，进入SYN-SEND（同步已发送）状态
  3. B收到连接请求后向A发送确认，SYN置1，ACK置1，同时产生一个确认序号ack=x+1。同时随机选择初始序号seq=y，进入SYN-RCVD（同步收到）状态
  4. A收到确认连接请求后，ACK置1，确认号ack=y+1，seq=x+1，进入到ESTABLISHED（已建立连接）状态。向B发出确认连接，最后B也进入到ESTABLISHED（已建立连接）状态。

简单来说，就是

  1. 建立连接时，客户端发送SYN包（SYN=i）到服务器，并进入到SYN-SEND状态，等待服务器确认
  2. 服务器收到SYN包，必须确认客户的SYN（ack=i+1）,同时自己也发送一个SYN包（SYN=k）,即SYN+ACK包，此时服务器进入SYN-RECV状态
  3. 客户端收到服务器的SYN+ACK包，向服务器发送确认报ACK（ack=k+1）,此包发送完毕，客户端和服务器进入ESTABLISHED状态，完成三次握手

在此穿插一个知识点就是SYN攻击，那么什么是SYN攻击？发生的条件是什么？怎么避免？

在三次握手过程中，Server发送SYN-ACK之后，收到Client的ACK之前的TCP连接称为半连接（half-open connect），此时Server处于SYN_RCVD状态，当收到ACK后，Server转入ESTABLISHED状态。SYN攻击就是 Client在短时间内伪造大量不存在的IP地址，并向Server不断地发送SYN包，Server回复确认包，并等待Client的确认，由于源地址 是不存在的，因此，Server需要不断重发直至超时，这些伪造的SYN包将产时间占用未连接队列，导致正常的SYN请求因为队列满而被丢弃，从而引起网 络堵塞甚至系统瘫痪。SYN攻击时一种典型的DDOS攻击，检测SYN攻击的方式非常简单，即当Server上有大量半连接状态且源IP地址是随机的，则可以断定遭到SYN攻击了，使用如下命令可以让之现行：

#netstat -nap | grep SYN_RECV

四次分手的过程（客户端我们用A表示，服务器端用B表示）

由于TCP连接时是全双工的，因此每个方向都必须单独进行关闭。这一原则是当一方完成数据发送任务后，发送一个FIN来终止这一方向的链接。收到一个FIN只是意味着这一方向上没有数据流动，既不会在收到数据，但是在这个TCP连接上仍然能够发送数据，知道这一方向也发送了FIN，首先进行关闭的一方将执行主动关闭，而另一方则执行被动关闭。

前提：A主动关闭，B被动关闭

一次奇妙的http请求之旅

有人可能会问，为什么连接的时候是三次握手，而断开连接的时候需要四次挥手？

这是因为服务端在LISTEN状态下，收到建立连接请求的SYN报文后，把ACK和SYN放在一个报文里发送给客户端。而关闭连接时，当收到对方的FIN 报文时，仅仅表示对方不再发送数据了但是还能接收数据，己方也未必全部数据都发送给对方了，所以己方可以立即close，也可以发送一些数据给对方后，再 发送FIN报文给对方来表示同意现在关闭连接，因此，己方ACK和FIN一般都会分开发送。

  1. A发送一个FIN，用来关闭A到B的数据传送，A进入FIN_WAIT_1状态。
  2. B收到FIN后，发送一个ACK给A，确认序号为收到序号+1（与SYN相同，一个FIN占用一个序号），B进入CLOSE_WAIT状态。
  3. B发送一个FIN，用来关闭B到A的数据传送，B进入LAST_ACK状态。
  4. A收到FIN后，A进入TIME_WAIT状态，接着发送一个ACK给B，确认序号为收到序号+1，B进入CLOSED状态，完成四次挥手。

简单来说就是

  1. 客户端A发送一个FIN，用来关闭客户A到服务器B的数据传送（报文段4）。
  2. 服务器B收到这个FIN，它发回一个ACK，确认序号为收到的序号加1（报文段5）。和SYN一样，一个FIN将占用一个序号。
  3. 服务器B关闭与客户端A的连接，发送一个FIN给客户端A（报文段6）。
  4. 客户端A发回ACK报文确认，并将确认序号设置为收到序号加1（报文段7）。

A在进入到TIME-WAIT状态后，并不会马上释放TCP，必须经过时间等待计时器设置的时间2MSL（最长报文段寿命），A才进入到CLOSED状态。为什么？

  1. 为了保证A发送的最后一个ACK报文段能够到达B
  2. 防止“已失效的连接请求报文段”出现在本连接中

OK~是不是很难懂的感觉？那我们来说的“人性化点的”吧

三次握手流程

  1. 客户端发个请求“开门呐，我要进来”给服务器
  2. 服务器发个“进来吧，我去给你开门”给客户端
  3. 客户端有很客气的发个“谢谢，我要进来了”给服务器

四次挥手流程

  1. 客户端发个“时间不早了，我要走了”给服务器，等服务器起身送他
  2. 服务器听到了，发个“我知道了，那我送你出门吧”给客户端，等客户端走
  3. 服务器把门关上后，发个“我关门了”给客户端，然后等客户端走（尼玛~矫情啊）
  4. 客户端发个“我知道了，我走了”，之后自己就走了
  5. 你走吧

三：HTTP协议

———— https://www.cnblogs.com/ranyonsue/p/5984001.html

客户端发送一个HTTP请求到服务器的请求消息包括以下格式：

请求行（request line）、请求头部（header）、空行和请求数据四个部分组成。
一次奇妙的http请求之旅
Http请求消息结构.png
  • 请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本。
Get请求例子，使用Charles抓取的request：
GET /562f25980001b1b106000338.jpg HTTP/1.1

Host    img.mukewang.com

User-Agent    Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36

Accept    image/webp,image/*,*/*;q=0.8

Referer    http://www.imooc.com/

Accept-Encoding    gzip, deflate, sdch

Accept-Language    zh-CN,zh;q=0.8
第一部分：请求行，用来说明请求类型,要访问的资源以及所使用的HTTP版本.

GET说明请求类型为GET,[/562f25980001b1b106000338.jpg]为要访问的资源，该行的最后一部分说明使用的是HTTP1.1版本。

第二部分：请求头部，紧接着请求行（即第一行）之后的部分，用来说明服务器要使用的附加信息

从第二行起为请求头部，HOST将指出请求的目的地.User-Agent,服务器端和客户端脚本都能访问它,它是浏览器类型检测逻辑的重要基础.该信息由你的浏览器来定义,并且在每个请求中自动发送等等

第三部分：空行，请求头部后面的空行是必须的

即使第四部分的请求数据为空，也必须有空行。

第四部分：请求数据也叫主体，可以添加任意的其他数据。

这个例子的请求数据为空。

POST请求例子，使用Charles抓取的request：
POST / HTTP1.1

Host:www.wrox.com

User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)

Content-Type:application/x-www-form-urlencoded

Content-Length:40

Connection: Keep-Alive

name=Professional%20Ajax&publisher=Wiley

第一部分：请求行，第一行明了是post请求，以及http1.1版本。
第二部分：请求头部，第二行至第六行。
第三部分：空行，第七行的空行。
第四部分：请求数据，第八行。

HTTP之响应消息Response

一般情况下，服务器接收并处理客户端发过来的请求后会返回一个HTTP的响应消息。

HTTP响应也由四个部分组成，分别是：状态行、消息报头、空行和响应正文。
一次奇妙的http请求之旅
http响应消息格式.jpg

例子

HTTP/1.1 200 OK

Date: Fri, 22 May 2009 06:07:21 GMT

Content-Type: text/html; charset=UTF-8

<html>

      <head></head>

      <body>

            <!--body goes here-->

      </body>

</html>
第一部分：状态行，由HTTP协议版本号， 状态码， 状态消息 三部分组成。

第一行为状态行，（HTTP/1.1）表明HTTP版本为1.1版本，状态码为200，状态消息为（ok）

第二部分：消息报头，用来说明客户端要使用的一些附加信息

第二行和第三行为消息报头，
Date:生成响应的日期和时间；Content-Type:指定了MIME类型的HTML(text/html),编码类型是UTF-8

第三部分：空行，消息报头后面的空行是必须的
第四部分：响应正文，服务器返回给客户端的文本信息。

空行后面的html部分为响应正文。

HTTP之状态码

状态代码有三位数字组成，第一个数字定义了响应的类别，共分五种类别:

1xx：指示信息--表示请求已接收，继续处理
2xx：成功--表示请求已被成功接收、理解、接受
3xx：重定向--要完成请求必须进行更进一步的操作
4xx：客户端错误--请求有语法错误或请求无法实现
5xx：服务器端错误--服务器未能实现合法的请求

常见状态码：

200 OK                        //客户端请求成功

400 Bad Request               //客户端请求有语法错误，不能被服务器所理解

401 Unauthorized              //请求未经授权，这个状态代码必须和WWW-Authenticate报头域一起使用

403 Forbidden                 //服务器收到请求，但是拒绝提供服务

404 Not Found                 //请求资源不存在，eg：输入了错误的URL

500 Internal Server Error     //服务器发生不可预期的错误

503 Server Unavailable        //服务器当前不能处理客户端的请求，一段时间后可能恢复正常
上一篇：c# winform 视频转字符动画


下一篇：Unity3D编辑器扩展（五）——常用特性（Attribute）以及Selection类