一、request.exceptions.ConnectionError

　　在请求头中添加  "Connection": "close"

二、url解码

• 解码

  • import urllib.parse

  • urllib.parse.unquote(需要解码的字符串)

• 编码

  • import urllib.parse

  • urllib.parse.quote(需要编码的字符串)

 三、爬虫出现UnicodeEncodeError 

　　多半是post请求没解码在请求中data .encode('utf-8')

四、存mysql有很长的值

　　不要设置成varchar，要设置成text

五、将文件名和路径分开

　os.path.split('./json/all/4.json')