python 之网络编程(基于TCP协议Socket通信的粘包问题及解决)

8.4 粘包问题

粘包问题发生的原因:

1.发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包),这样接收端,就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的

2.接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)

粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。

8.41 stract模块

1、把整型数字转成bytes类型 2、转成的bytes是固定长度的

import struct

res=struct.pack('i',20332) # i:整型
print(res,len(res)) # b'lO\x00\x00' 4

res2=struct.unpack('i',res)
print(res2[0]) #

8.42 利用stract模块解决粘包

为字节流加上自定义固定长度报头,报头中包含字节流长度,然后一次send到对端,对端在接收时,先从缓存中取出定长的报头(报头中含有真实数据长度),然后再取真实数据

服务端:

from socket import *
import subprocess
import struct
........
while True:
conn,client_addr=server.accept() #(连接对象,客户端的ip和端口)
print(client_addr)
while True:
try:
cmd=conn.recv(1024)
obj=subprocess.Popen(cmd.decode('utf-8'),# dir
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE
)
stdout=obj.stdout.read()
stderr=obj.stderr.read()

total_size=len(stdout) + len(stderr)# 1、制作固定长度的报头 # 430
header=struct.pack('i',total_size)

conn.send(header) # 2、发送报头

conn.send(stdout) #3、发送真实的数据
conn.send(stderr) #subprocess返回byte类型,但需要gbk解码
except ConnectionResetError:
break

conn.close()
server.close()

客户端:

from socket import *
import struct
..........
while True:
cmd=input('>>>: ').strip()
if not cmd:continue
client.send(cmd.encode('utf-8')) # dir

header=client.recv(4) #1、先收固定长度的报头

total_size=struct.unpack('i',header)[0] #2、解析报头
print(total_size) # recv_size=0 #3、根据报头内的信息,收取真实的数据
res=b''
while recv_size < total_size:
recv_data=client.recv(1024)
res+=recv_data
recv_size+=len(recv_data)
print(res.decode('gbk'))
client.close()

8.43 自定义报头

我们可以把报头做成字典,字典里包含将要发送的真实数据的详细信息,字典然后json序列化,编码成byte类型,然后用struck将数据长度打包成4个字节(4个自己足够用了)

发送时:

先发报头长度,再编码报头内容然后发送,最后发真实内容

接收时:先收报头长度,用struct取出来,根据取出的长度收取报头内容,然后解码,反序列化,从反序列化的结果中取出待取数据的详细信息,然后去取真实的数据内容

服务端:

from socket import *
import subprocess
import struct
import json
...........
while True:
conn,client_addr=server.accept() #(连接对象,客户端的ip和端口)
print(client_addr)
while True:
try:
cmd=conn.recv(1024)
obj=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE
)
stdout=obj.stdout.read()
stderr=obj.stderr.read()

header_dic={ # 1、制作报头
'total_size':len(stdout) + len(stderr),
'md5':'123svsaef123sdfasdf',
'filename':'a.txt'
}
header_json = json.dumps(header_dic)
header_bytes = header_json.encode('utf-8')

header_size=len(header_bytes) # 2、先发送报头的长度
conn.send(struct.pack('i',header_size))

conn.send(header_bytes) # 3、发送报头

conn.send(stdout) # 4、发送真实的数据
conn.send(stderr)
except ConnectionResetError:
break
conn.close()
server.close()

客户端:

from socket import *
import struct
import json
.........
while True:
cmd=input('>>>: ').strip()
if not cmd:continue
client.send(cmd.encode('utf-8')) header_size=struct.unpack('i',client.recv(4))[0] #1、先收报头的长度
header_bytes=client.recv(header_size) #2、接收报头

header_json=header_bytes.decode('utf-8') #3、解析报头
header_dic=json.loads(header_json)
print(header_dic)

total_size=header_dic[ 'total_size'] #4、根据报头内的信息,收取真实的数据
# print(total_size) #1025 recv_size=0
res=b''
while recv_size < total_size:
recv_data=client.recv(1024)
res+=recv_data
recv_size+=len(recv_data)

print(res.decode('gbk'))
client.close()

客户端实现等待后重连:

import socket
import time

while True:
try:
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

client.connect(('127.0.0.1',8080))
break
except ConnectionRefusedError:
time.sleep(3)
print('等待3秒。。。')
上一篇:《C#多线程编程实战》2.5 AutoResetEvent


下一篇:Apache htaccess 设置....