『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

1、Fiddler抓取HTTPS过程

  • 第一步:Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。
  • 第二步:服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书(这里的根证书是CA认证中心给自己颁发的证书)公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥

    然后Fiddler伪造自己的CA证书(这里的CA证书,也是根证书,只不过是Fiddler伪造的根证书), 冒充服务器证书传递给客户端浏览器。(也就服务器发给客户端的证书被Fiddler留下了,伪造了一个证书发给客户端)
  • 第三步:与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key
  • 第四步:客户端将重要信息传递给服务器,又被Fiddler截获。

    Fiddler将截获的密文用自己伪造证书的私钥解开,获得并计算得到HTTPS通信用的对称密钥enc_key

    Fiddler将对称密钥用服务器证书公钥加密传递给服务器。
  • 第五步:与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。
  • 第六步:Fiddler截获服务器发送的密文,用对称密钥解开,再用自己伪造证书的私钥加密传给客户端。
  • 第七步:客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。

2、拓展:SSL/TLS证书握手原理

普及下SSL/TLS证书握手原理,SSL/TLS证书分为单向认证和双向认证,通过下面的两张图可以简单的了解一下原理。

单向认证:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

双向认证:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

3、Fiddler抓取HTTPS原理总结

Fiddler在之后的正常加密通信过程中,如何在服务器与客户端之间充当第三者呢?

服务器—>客户端:Fiddler接收到服务器发送的密文,用对称密钥解开,获得服务器发送的明文。再次加密,发送给客户端。

客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中,信息对其透明。

4、Fiddler抓取HTTPS设置

因为Fiddler是一个HTTP代理服务,它位于客户端和服务器端之间,而安装好Fiddler的只可以对HTTP协议进行抓包。

如果需要对HTTPS的协议进行抓包分析,就需要对Fiddler工具进行配置,使得Fiddler工具也可以抓到HTTPS协议的包。

如果没有进行任何的配置就想用Fiddler来抓包分析是实现不了的,即使抓出来也是看不懂的加密内容。因为没有受信任的Fiddler根证书,不能让客户端相信Fiddler伪造的CA证书,从而得到Pre_master

步骤1:配置证书

Tools菜单 —> Options... —> HTTPS —> 勾选Decrypt HTTPS traffic

如下图:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

说明

勾选Decrypt HTTPS traffic选项:意思是解密HTTPS流量(请求)。

然后会弹出一个对话框,如下图:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

意思是:为了能够拦截HITTPS通信,Fiddler生成了唯一的根证书。您可以将Windows配置为信任此根证书,以禁止显示安全警告。单击“是”以重新配置Windows的受信任CA列表。

然后接着弹出对话框如下:点击是,确认安装此证书。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

是否确认将证书添加到计算机根目录列表?点击是。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

最后提示:成功将Fiddler的根证书添加到计算机根列表中。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

步骤2:勾选设置

当勾选Decrypt HTTPS traffic选项的时候,会提示你安装证书,安装好证书之后,HTTPS选项界面如下:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

我们在继续勾选Ignore server certificate errors (unsafe)选项:忽略服务器证书错误(不安全)。

之后点击OK就可以抓取HTTPS的请求了(我试过了不需要重启)。

5、查看证书是否安装成功

方式一

点击Tools菜单 —> Options... —> HTTPS —> Actions

选择第三项:Open Windows Certificate Manager打开Windows证书管理器。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

打开Windows证书管理器,选择操作—>查看证书,在搜索框中输入Fiddler来查看证书。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

查看结果:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

然后可以选择一个证书,进行打开、删除、导出等操作。

方式二

WIN+R打开电脑命令提示符,输入certmgr.msc并回车,打开Windows证书管理器。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

然后选择操作 —> 查看证书,之后的步骤同上。

6、HTTPS选项界面说明

HTTPS选项界面如下:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

详细说明

  • Fiddler can decrypt HITTPS sessions by re-signing traffic using self-generated certificates.

    Fiddler可以使用自行生成的证书对流量进行重新签名,从而对HITTPS会话进行解密。
  • Capture HTTPS CONNECTs:建立HTTPS连接通信。

    这个就是我们之前常看到有tunnel to...443请求的原因,他是HTTPS建立通信时候所发出的请求。

    我们使用Rules菜单 —> Hide CONNECTs操作,把这些请求隐藏了。
  • Decrypt HTTPS traffic:解密HTTPS请求。
  • 下拉列表

    from all processes : 抓取所有的HTTPS程序, 包括本机和手机 。

    from browsers only : 只抓取浏览器中的HTTPS请求。

    from non-browsers only : 只抓取除了浏览器之外的所有HTTPS请求。

    from remote clients only : 抓取远程的客户端的HTTPS,可以代表手机。
  • Ignore server certificate errors (unsafe):忽略服务器证书错误(不安全)

    一般勾选上。
  • check for certificate reyocation:检查证书吊销。
  • Certificates generated by CertEnroll engine:由CertEnroll引擎生成的证书。
  • Skip decryption for the following hosts:跳过以下主机的解密。
  • Actions
    • Trust Root Certificate:信任根证书。
    • Export Root Certificate to Desktop:将根证书导出到桌面。
    • Open Windows Certificate Manager:打开Windows证书管理器。
    • Learn More about HTTPS Decryption:了解有关HTTPS解密的更多信息。
    • Remove Interception Certificates:删除拦截证书。
    • Reset All Certificates:重置所有证书。

7、无法抓取HTTPS请求

我们在完成上面Fiddler配置后,还是无法抓取HTTPS请求。

我们可以点击Tools菜单 —> Options... —> HTTPS —> Actions

选择最后一个选项Reset All Certificates:重置所有证书。

提示:Fiddler将删除所有拦截证书,并重新创建新的根证书以用于解密流量。

选择确定。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

确定是否删除证书:选择是。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

提示:Fiddler生成的证书已从“当前用户”存储中删除。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

点击确定。之后Fiddler会自动弹出证书的安装,同上面第4点的步骤一。

如果还不行,可以再点击第一个选项Trust Root Certificate:信任根证书。

之后会安装一些Fiddler的相关证书,这样基本上可以解决Fiddler无法抓取HTTPS请求的情况。

8、Firefox浏览器中捕获HTTPS请求

Google浏览器和IE浏览器默认使用的网络代理是系统代理,当Fiddler开启后,会自动替换掉系统代理,这样Google浏览器和IE浏览器自动就可以抓取到HTTPS的请求。

Firefox浏览器与其它浏览器有所不同,它默认不使用系统代理,该浏览器需要自己设置代理和安装证书,Fiddler才可以抓到HTTPS。

(1)查看Firefox浏览器的网络代理

选择Firefox右上角三条横线 —> 选项 —> 网络设置(版本不同位置不同,有的在高级里,有的在常规里)

点击“设置”,出现如下界面:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

提示:新版本默认选择使用系统代理设置,旧版本自己查看一下,不是的话修改一下。

这样的话,我们就可以进行HTTP请求的抓取了。(注意不是HTTPS请求)

我们也可以进行手动代理配置,要配置成Fiddler一样的地址和端口(请看Fiddler中Connections选项中的配置)

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

(2)配置Firefox浏览器的Fiddler证书

我们可以先通过Fiddler配置好抓取Google浏览器HTTPS请求,这样的话Fiddler证书已经安装在本机电脑中了。

新版本的Firefox浏览器,当我们打开浏览器的时候,Firefox会自动弹出页面,需要确认Fiddler证书。

我们点击高级,选择信任该证书即可。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

现在我们就可以使用Fiddler抓取Firefox浏览器的HTTPS请求了。

补充:如果是旧版本的Firefox浏览器。

步骤1:我们需要点击Tools菜单 —> Options... —> HTTPS —> Actions

步骤2:选择第二项Export Root Certificate to Desktop:将根证书导出到桌面。

步骤3:然后选择Firefox右上角三条横线 —> 选项 —> 证书(版本不同位置不同,有的在高级里,有的在隐私与安全里)

步骤4:点击“查看证书”,点击导入证书,如下图:

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

步骤5:选择并打开文件后,会弹出个框,勾选三个选项,点击确定,完成配置。

『言善信』Fiddler工具 — 15、使用Fiddler抓取HTTPS请求

步骤6:可以抓取Firefox浏览器发出的HTTPS请求了。如果不行重启Firefox浏览器和Fiddler试试。

9、总结:

无论什么浏览器,需要抓取HTTPS请求,都需要确保:

  • 确保浏览器使用网络是系统代理(主要就是把系统代理替换成Fiddler代理)。
  • 确保正确安装好Fiddler证书。

这样Fiddler就可以抓取到任何浏览器发送的HTTPS请求了。

上一篇:golang 入门之struct继承,嵌套


下一篇:移动浏览器H5页面通过scheme打开本地应用