源码目录结构

 

ApiResponse

这个类没啥好说的

class ApiResponse(Response):
    """
    继承了requests模块中的Response类，重写了里面的raise_for_status方法
    """
    def raise_for_status(self):
        if hasattr(self, "error") and self.error:
            raise self.error
        Response.raise_for_status(self)

 

get_req_resp_record

这个函数的功能是获取请求记录和响应记录，源码分为4段来看
 

第1段

def get_req_resp_record(resp_obj: Response) -> ReqRespData:
    """
    :param resp_obj: Response响应
    :return: 返回自定义的ReqResData模型类
    """

    def log_print(req_or_resp, r_type):
        """
        日志打印，格式为标准的json
        """
        msg = f"\n================== {r_type} details ==================\n"
        for key, value in req_or_resp.dict().items():
            # 如果value中还包含着dict或者list，就把value转成json格式
            if isinstance(value, dict) or isinstance(value, list):
                value = json.dumps(value, indent=4, ensure_ascii=False)

            msg += "{:<8} : {}\n".format(key, value)
        logger.debug(msg)

第1段代码就是定义了一个打印日志的函数，打印的日志解析为标准的json格式
 

第2段

# 记录实际请求信息（请求头、cookie信息、请求体）
    request_headers = dict(resp_obj.request.headers)
    request_cookies = resp_obj.request._cookies.get_dict()

    request_body = resp_obj.request.body
    if request_body is not None:
        try:
            request_body = json.loads(request_body)
        except json.JSONDecodeError:
            # str: a=1&b=2
            pass
        except UnicodeDecodeError:
            # bytes/bytearray: request body in protobuf
            pass
        except TypeError:
            # neither str nor bytes/bytearray, e.g. <MultipartEncoder>
            pass

        # lower_dict_keys的作用是将字典中的key大写转小写
        request_content_type = lower_dict_keys(request_headers).get("content-type")
        if request_content_type and "multipart/form-data" in request_content_type:
            # upload file type
            request_body = "upload file stream (OMITTED)"

    request_data = RequestData(
        method=resp_obj.request.method,
        url=resp_obj.request.url,
        headers=request_headers,
        cookies=request_cookies,
        body=request_body,
    )
    # 在debug模式下打印请求日志
    log_print(request_data, "request")

第2段代码是先获取request_headers、request_cookies、request_body，然后将获取到的信息放入RequestData模型中，最后打印请求的信息
 

第3段

# 记录响应信息
    resp_headers = dict(resp_obj.headers)
    lower_resp_headers = lower_dict_keys(resp_headers)
    content_type = lower_resp_headers.get("content-type", "")

    if "image" in content_type:
        # response is image type, record bytes content only
        response_body = resp_obj.content
    else:
        try:
            # try to record json data
            response_body = resp_obj.json()
        except ValueError:
            # only record at most 512 text charactors
            resp_text = resp_obj.text
            response_body = omit_long_data(resp_text)

    response_data = ResponseData(
        status_code=resp_obj.status_code,
        cookies=resp_obj.cookies or {},
        encoding=resp_obj.encoding,
        headers=resp_headers,
        content_type=content_type,
        body=response_body,
    )

    # 在debug模式下打印响应日志
    log_print(response_data, "response")

第3段代码是获取resp_headers、content_type、response_body，最后将这些数据都放入ResponseData模型类中，最后打印响应日志
 

第4段

req_resp_data = ReqRespData(request=request_data, response=response_data)
    return req_resp_data

最后这段就是将刚才的请求信息和响应信息全部放入ReqRespData模型中，最后get_req_resp_record函数返回的内容就是ReqRespData模型
 

HttpSession

在requests.Session上进行了二次封装，该类包含4个方法，下面依次介绍
 

init

    def __init__(self):
        super(HttpSession, self).__init__()
        self.data = SessionData()

初始化方法，定义了data属性的默认值为SessionData模型，该模型包含了req_resps: List[ReqRespData] = []请求响应内容
 

update_last_req_resp_record

    def update_last_req_resp_record(self, resp_obj):
        """
        update request and response info from Response() object.
        """
        # TODO: fix
        self.data.req_resps.pop()
        self.data.req_resps.append(get_req_resp_record(resp_obj))

更新最新的请求响应记录，放入req_resps列表中
 

request

发送requests.Request请求，返回requests.Response响应，还做了以下事情

• 1.设置了超时时间120s
• 2.计算整个请求花费了多少时间
• 3.定义了客户端ip地址和端口号、服务端ip地址和端口号
• 4.计算了响应体的内容大小
• 5.记录了消耗时间
• 6.记录了request和response记录，包括重定向记录
   

_send_request_safe_mode

发送一个http请求，并捕获由于连接问题可能发生的任何异常

    def _send_request_safe_mode(self, method, url, **kwargs):
        """
        Send a HTTP request, and catch any exception that might occur due to connection problems.
        Safe mode has been removed from requests 1.x.
        """
        try:
            return requests.Session.request(self, method, url, **kwargs)
        except (MissingSchema, InvalidSchema, InvalidURL):
            raise
        except RequestException as ex:
            resp = ApiResponse()
            resp.error = ex
            resp.status_code = 0  # with this status_code, content returns None
            resp.request = Request(method, url).prepare()
            return resp