最近自学研究爬虫，特找个地方记录一下代码。就来到了51cto先测试一下。第一次发帖不太会。先贴个代码。
首先打开拉勾网首页，然后在搜索框输入关键字Python。打开抓包工具。因为我的是MAC os，所以用的自带的Safari浏览器的开启时间线录制。通过抓取post方法，可以看到完整url=
|
1
|
http://www.lagou.com/jobs/positionAjax.json?
|
然后可以发现post的数据有三个，一个是first，kd，pn。其中first应该是判断是不是首页，Kd就是你输入的关键字，pn就是页码。除了第一页的first是true以外都是false。所以就可以用过if判断每次要post的数据。你从浏览器输入上面的网址他给你返回的应该是遗传json数据。所以需要json.loads()来处理这些数据。看了一下json，跟多维数组的使用比较类似。。。最后就是把我需要的数据趴下来写到文本文件中。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
#coding=utf-8import json
import urllib2
import urllib
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
page=1
length=0
index=1
f=open('lagoudata.txt','a+')
while page<5:
if(page==1):
post_data = {'first':'true','kd':'python','pn':page}
else:
post_data = {'first':'false','kd':'python','pn':page}
page=page+1
r = urllib2.Request("http://www.lagou.com/jobs/positionAjax.json?px=default", urllib.urlencode(post_data))
html=urllib2.urlopen(r).read()
hjson=json.loads(html)
result=hjson['content']['result']
# print result
length=length+len(result)
for i in range(len(result)):
string=str(index)+','+result[i]['companyName']+','+result[i]['financeStage']+','+result[i]['positionAdvantage']+','+result[i]['education']+','+result[i]['workYear']+','+result[i]['city']+','+result[i]['salary']
f.write(string)
f.write('\r\n')
index=index+1
#print string
f.close()print length
|
因为这边拉钩网返回的json数据，所以要做处理。反正下图是我最后爬的数据
PS：我写的程序是自己手动输入需要爬取多少页。但是学长给我说可以通过判断页面中“下一页”这三个字在HTML中的区别。通过审查第一页和最后一页中“下一页”这三个字就可以看出来他们的class是不同的。到时候可以通过判断class来确定是不是到达最后一页。可惜发现拉钩是js渲染的。。。。而且他只提供30页的数据。。。所以这边也就无所谓了。
本文转自 努力的C 51CTO博客，原文链接:http://blog.51cto.com/fulin0532/1748561