fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

本篇博客为爬虫120例第60例,核心内容围绕手机抓包展开,本片练习模拟器与 Fiddler 之间的搭配 。

选择模拟器的原因也很简单,由于很多抓包软件对安卓系统有版本要求,我们不能天天给手机更换系统,但是模拟器却可以,本篇博客选择的模拟器是 夜神模拟器,软件的下载与安装非常简单,遵循下一步原则即可,该模拟器安卓系统为 5.1 版本,符合后续抓包要求。

模拟器下载地址:https://support.yeshen.com/zh-CN/win-release/6612

配置模拟器网络

打开 fiddler 之后,在模拟器中访问配置 Wlan 代理,修改完毕就可以使用模拟器的浏览器访问证书下载地址了, http://192.168.0.2:8888

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

浏览器出现如下界面之后,点击下载证书。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

输入证书名称,点击确定即可。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

再次使用模拟器默认浏览器访问 百度首页fiddler 抓取到 HTTPS 请求数据,并成功解析,表示配置完成。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

安装百家号APP

在电脑端下载百家号APP之后,然后进行抓包测试,在其【爆款】页下拉时,捕获如下接口。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

下面配置 Filters ,筛选 HOST = baijiahao.baidu.com 的请求。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

这里将接口复制到默认浏览器中,即可获取到对应的JSON数据。

fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

对请求地址的参数进行整理与分析,得到如下结论。

  1. 热门列表的数据URL为:https://baijiahao.baidu.com/builderinner/mobileui/hot/getHotList
  2. 其中各个参数含义如下:
  • method:请求方式;
  • app_os_version:系统版本;
  • app_os:系统名称;
  • app_device_info:设备名称;
  • app_version:APP版本号;
  • channel:频道,这里使用的URL编码文字,例如 爆款=%E7%88%86%E6%AC%BE
  • base:未知,可删除;
  • rn:接口返回的数据量,默认是 20,可以修改为更大数字;
  • type:未知,可删除;
  • time:时间戳,可删除;
  • isRefresh:是否刷新,可删除;

最终整理之后,接口参数的最简格式为 app_os=android&app_version=5.16.0.0&channel=爆款&rn=40&type=2

最后一不留神,把人家 MP4 的地址给获取到了,版权原因,不再编写后续代码。

订阅时间

今天是持续写作的第 264 / 365 天。
可以关注我,点赞我、评论我、收藏我啦。

更多精彩


fiddler软件+手机模拟器搭配抓包,这篇博客有Python爬虫与百家号的事

上一篇:HDU 4121


下一篇:BZOJ1997:[HNOI2010]PLANAR——题解