某Websocket反爬逆向分析+请求加解密+还原html

网址

aHR0cHM6Ly93d3cueWR4Zi5nb3YuY24vTmV3cy9zaG93TGlzdC80L3BhZ2VfMS5odG1s

前言

工作中遇到的某websocket反爬,比混淆网站还恶心,看到也有其他人在问这个

之前看到其他大佬也弄过这个websocket反爬,但是只是说了下加解密,个人觉得最重要的还是还原最终的html,所以来分享一下过程

目标

  • 过无限debugger
  • session请求加解密
  • websocket通信
  • 消息结构解析还原成html
  • 使用Python还原算法

分析过程

无限debugger

  1. 首先打开F12,刷新页面发现会被断住
  2. 右键js文件替换内容
  3. 看堆栈往上先随便点几个看看

  1. 可以直接找到通过正则检测代码格式化的检测点,这里是个自执行函数,我们需要把整个函数干掉,然后保存刷新页面
  2. 发现还是会被断住,老套路直接看堆栈往上找检测点

  1. 可以清楚看到定时器在不断检测,直接干掉就行了
  2. 刷新页面,到此为止无限debugger就过了,这个站的检测还是很简单的对吧

session请求加解密

  • XHR

  • Payload

  • Response

Payload加密

直接看xhr的堆栈

这个比较简单我就不废话了,看截图就行

跟进去函数后可以看到用到了iv,iv生成就在上面一个函数

往下继续跟,进入这个解密函数,这个解密函数计算iv的时候也用到这个函数

直接跟到下图这个位置可以看到是个AES加密,差不多就结束了,这个是个标准AES-128-CBC,直接引库就行了

Response解密

跟加密算法一致,用同一个key解密就行,这里就不再写具体流程了

Python实现

  • AES-128-CBC

代码抄了晨哥的 ????

  • 构造请求&加解密

  • 运行结果

Websocket

wss链接分析

wss://www.xxxx.cn/1ywuKELSO2ahQuWZ/pr/rSakD15JVxHzfnpXyZpkf4J5HNjv_CSciPJFAMMxKE0%3D/c/ws/zpgffq9z89/a0c20283-d62c-411a-820b-33e42f1c6082

  • 1ywuKELSO2ahQuWZ:固定值
  • rSakD15JVxHzfnpXyZpkf4J5HNjv_CSciPJFAMMxKE0%3D:session返回的token值
  • zpgffq9z89:网站tab_id,与请求时保持一致,随机字符串(可固定)
  • a0c20283-d62c-411a-820b-33e42f1c6082:uuid,可固定

Python连接Websocket

  • 第三方库:websocket-clientmsgpack
  • 代码

  • 结果

这里返回的结果通过msgpack进行解包了,这里就不再赘述了,有兴趣的可以看我晨哥的分析文章讲到了这个https://mp.weixin.qq.com/s/o5UCJFhBg-4JFdS0aEwDuw

消息结构解析

重点来了,这个网站最难的不是session的加解密和websocket连接,而是websocket收发的消息,页面的内容均是通过websocket返回的特殊指令渲染出来的,因此我们从websocket中取想要的数据可能会比较复杂,并且不能通用,我们这里会讲到如何将收到的指令还原成原本的html,从而通过pyquery或者bs4等html解析库来提取数据

定位websocket接收消息函数

找到ws连接请求,进入第一个调用堆栈

在连接下面找到消息回调函数,直接下断点后跟进去

这样我们就找到了ws消息回调函数了

分析接收到的数据

单步跟着走一遍

可以直接把指令表拿出来,这样比较清晰,也可以根据对应名称来猜指令的作用

CommandCodes = {
    "TAB_OPS": 0,
    "DOM_EVENT": 4,
    "DOM_METHOD": 5,
    "RESET_DOM": 6,
    "ADD_DOC_TYPE": 7,
    "ADD_HTML_ELEMENT": 8,
    "ADD_SVG_ELEMENT": 9,
    "ADD_NS_ELEMENT": 10,
    "MOVE_ELEMENT": 11,
    "SHUFFLE_CHILDREN": 12,
    "EDIT_ELEMENT": 13,
    "DELETE_ELEMENT": 14,
    "ADD_STYLE": 15,
    "ADD_TEXT": 16,
    "MODIFY_TEXT": 17,
    "MODIFY_PROPERTY": 18,
    "MODIFY_ATTRIBUTES": 19,
    "SET_SELECTIONS": 20,
    "INSERT_RULE": 21,
    "DELETE_RULE": 22,
    "DISABLED_STYLE": 24,
    "SET_CANVAS_DATA": 23,
    "REPLACE_SYNC": 25,
    "WEBRTC": 30,
    "NAVIGATE": 31,
    "SYNC": 32,
    "SYNC_COOKIE": 34,
    "FILE": 35,
    "TAB_ACTIVE": 42,
    "NATIVE_METHOD": 44,
    "MODIFY_DOC_TYPE": 47,
    "CHANGE_BLOCK": 48,
    "RELOAD": 49,
    "SYNC_ALL_COOKIE": 50,
    "SYNC_WRITE_COOKIE": 51,
    "MEDIA_STATE": 52,
    "DOM_READY": 53,
    "AUGMENT_CSS": 54,
    "MULTI_CMD": 55,
    "REDIRECT_REQUEST": 56,
    "TEXTAREA_RESIZE": 57,
    "SIMPLE_HTML": 58,
    "RENDER_STATE": 59,
    "SYNC_CONFIG_TO_CLIENT_WIC": 60,
    "SYNC_CONFIG_TO_CLIENT_AIC": 61,
    "SYNC_CONFIG_TO_CLIENT_EIC": 62,
    "FRAME_PUSH_STATE": 63
}

断到一个53指令码,根据码表来看应该是dom相关的指令,继续单步跟

这里将数据传送到其他回调函数了,继续跟进去

大概跟了几个函数就跟到这里了,这里比较重要,我们慢慢看

这个应该是将数组形式的消息转换为对象形式,这个消息太短了,看不出效果,我们多接收几个消息看一下

这个55指令码对应的指令名是"MULTI_CMD": 55 ,应该是多条指令的集合,我们还需要对content的多条指令进行转换,才能拿到最终的对象

单步跟了一下后发现会进入到另外一个接收函数

这里就是根据不同指令码来执行不同操作的地方了

可以看到这个55指令码实际上会进行递归执行指令

后面会根据不同指令码来走不同的分支,我这里就直接给结果吧,"ADD_DOC_TYPE": 7

这个指令操作会给在html中添加一个dom元素,它这里实际上是将这个指令都放到一个指令队列里面,然后再根据指令队列循环操作dom树来渲染页面元素

将websocket消息转换为对象

单步跟进之前那个转换指令的函数

这里会根据e的指令码映射拿到对应的指令处理器,再执行转换命令

不同的指令对应不同的转换器,所以这里如果要还原得一个一个抠下来才行

使用Python还原指令解析算法

基本上只要对照js来还原就行了

  • 指令转换器

  • 消息解析

  • 运行结果

使用Pyquery还原HTML

我们需要将上一步转换后的指令队列转换为HTML代码

  • 转换代码

  • 运行结果

  • 列表页

  • 详情页

有了html代码后就可以用xpath大法来拿内容了

微信公众号

公众号更新比较快,欢迎关注!
image

完整源代码

欢迎各位大佬一起完善,有问题可以一起讨论,希望有更好的方案能带俺一手????
https://github.com/Meteo-Pig/CommandSpider

码字不易,动起你的发财的小手点个赞吧~~

上一篇:在现有 Docker Desktop 环境下安装与配置独立 Kubernetes环境


下一篇:mybatis xml sql