spider数据挖掘-----16、JS渗透(一)

(渗透过程:了解js代码的过程)

一般网站的请求不愿意让机器去发送请求的,所以会设置一些难以获取的参数。通过js代码分析就可以得到请求的参数然后就可以用机器发送请求

js逆向:了解js代码后,用python进行实现。(通过分析js动态加载,把js加载的代码还原出来利用,逆向的过程主要体现在逆向分析它js动态加载的源码,和黑客的逆向工程理念类似)

js动态:有算法的,给一个内容就会做出反馈的。

一些功能处理都是需要通过js来处理的。

Chrome调试面板

常用面板

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gkrrKqbB-1614400516946)(.\渗透I图片\常用面板.png)]

  1. 定位小箭头按钮(左边第一个):
    选中Elements面板,并启动该按钮,可以在页面中定位相应元素的源代码位置,或者选择源代码位置可定位到页面相应的元素。

  2. 手机-PC视图切换按钮(左边第二个):
    启动该按钮,网页可以在pc网址网页和手机网址网页之间进行转换。由于在爬虫过程中,爬取手机网址网页相对来说更容易,所以可以通过该按钮将网页切换至移动网页实现更快速爬取操作。

  3. Elements面板(元素面板)
    该面板显示了渲染完毕后的全部HTML源代码,在使用selenium爬取网页时可通过这些源代码找到各标签的位置,属性等特征。更重要的是,双击html源码或

上一篇:【Scrapy 五分钟撸网站】[健康行业新闻]Scrapy实战北京中医协会全站数据抓取


下一篇:基于spider的全站数据爬取