Python爬虫 爬取百合网的女人们和男人们

学Python也有段时间了,目前学到了Python的类。个人感觉Python的类不应称之为类,而应称之为数据类型,只是数据类型而已!只是数据类型而已!只是数据类型而已!重要的事情说三篇。

据书上说一个.py(常量、全局变量、函数、数据类型)文件为一个模块,那么就有了一种感觉:常量、全局变量、函数、数据类型是同一“级别的”。在此不多说了,收回自己的心思来看爬虫吧!

1、进百合网官网

单击“搜索”、单击“基本搜索”,这时会跳向另一个页面,该页面为登录页面(如图):

Python爬虫 爬取百合网的女人们和男人们

2、找到login.js,具体步骤:F12、F5、network、js(如图):

Python爬虫 爬取百合网的女人们和男人们

3、找登录时的异步请求,该请求在login.js中(如图):

Python爬虫 爬取百合网的女人们和男人们

4、单击“基本搜索”,会得到两个异步请求

1:获取160个id (如图):
Python爬虫 爬取百合网的女人们和男人们

2:根据id得到用户详细信息,为json数据(如图):
Python爬虫 爬取百合网的女人们和男人们

说了这么多,该上代码了(总共261行):

在此我就分享一下 所需要用到的模块

  • requests
  • time
  • pymssql

想获取源码,可以关注微信公众号:

Python爬虫 爬取百合网的女人们和男人们

上一篇:Android编程之LayoutInflater的inflate方法详解


下一篇:redis的使用及方法