最近看爬虫的内容。刚好看到黑板客爬虫第二关http://www.heibanke.com/lesson/crawler_ex01。
ADO的i春秋课程里面提到的。另外推荐学习爬虫的好书《web scraping with python》以及《Python 3网络爬虫开发实战》。
具体操作如下:
打开burp suite,设置好firefox的代理为127.0.0.1:8080
在burp suite的proxy的intercept选卡,打开intercept is on,抓包。
然后将抓到的包发送到intruder,
POST /lesson/crawler_ex01/ HTTP/1.1
Host: www.heibanke.com
User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:64.0) Gecko/ Firefox/64.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate
Referer: http://www.heibanke.com/lesson/crawler_ex01/
Content-Type: application/x-www-form-urlencoded
Content-Length: 79
Connection: close
Cookie: csrftoken=v6poA9E21BxApaxDI3Gmsg83oGlUo9Pi; Hm_lvt_74e694103cf02b31b28db0a346da0b6b=1545474035; Hm_lpvt_74e694103cf02b31b28db0a346da0b6b=1545475923
Upgrade-Insecure-Requests: 1 csrfmiddlewaretoken=v6poA9E21BxApaxDI3Gmsg83oGlUo9Pi&username=admin&password=§12§
在intruder模块要选中数字部分,见最后一行的$12$。
然后在payload里面选中numbers那里。设置sequential,从1到30,步长设置为1
options里面的number of threads设置为1。
这里是关键的点,否则做不出来。估计网站设置了对多线程的限制。
选择start attack。可以看到在数字变为2的时候,返回的长度(length)那里不同。
查看response里的内容,可以看到下一关地址了。