以前挺喜欢去有路网买二手书的，但是有路网有个缺陷，就是放在图书列表中的书很多都没货了，尤其是一些热门的方向，比如android，在列表中的书大多都没有货了，你必须一个一个点进入查看详细信息才能得知图书是否有货。因此，很久之前用python写了一个抓取的脚本，用来按书名搜索图书以及库存信息。现在拿出来与大家分享一下，因为是最开始学python的时候写的，有些地方写的不是特别好。比如那个时候对于正则表达式不是特别懂，所以用的不是特别好。其次，采用urllib库发送http请求的，效率太低。建议使用tornado库或者采用node.js。哦，还有一个问题，网页编码处理的不好，可能部分网页会乱码。废话少说，直接上代码：
# coding: utf-8
import urllib
import
re
import sys
reload(sys)
sys.setdefaultencoding(‘utf8‘)
class ReadFromWeb:
def
setKeyWord(self, keyword):
self.url
=
‘http://www.youlu.net/search/result/?isbn=&publisherName=&author=&bookName=‘
+ urllib.quote(keyword.decode(‘utf-8‘).encode(‘gb18030‘))
def getHtml(self):
try:
self.html =
urllib.urlopen(self.url).read().decode(‘gb18030‘).encode(‘utf-8‘)
except UnicodeDecodeError:
self.html
= urllib.urlopen(self.url).read()
finally:
return self.html
def list(self):
self.id_group
= re.findall(‘<a href=\"/[0-9]*\" target=\"_blank\">.*</a>‘,
self.html)
for in_id in
self.id_group:
try:
url =
re.findall(‘[0-9]+‘,in_id)[0].encode(‘utf-8‘)
detail
= re.findall(‘>.*<‘,in_id)[0].encode(‘utf-8‘)
except
UnicodeDecodeError:
url =
re.findall(‘[0-9]+‘,in_id)[0]
detail =
re.findall(‘>.*<‘,in_id)[0]
if detail.find(‘img‘)<0 and
detail.find(‘我要购买‘)<0:
if
self.getDetail(url) > 0:
print detail[1:-1]
print
‘有货:‘+str(self.getDetail(url))+":"+"http://www.youlu.net/"+url
else:
print detail[1:-1]
print
‘无货‘+":"+"http://www.youlu.net/"+url
def getDetail(self, url):
target = "http://www.youlu.net/" +
str(url);
try:
returnStr =
urllib.urlopen(target).read().decode(‘gb18030‘).encode(‘utf-8‘)
except UnicodeDecodeError:
return
0
startStr =
re.findall(‘startRequestBookBuyLink\(.*\)‘,returnStr)[0]
realNumber
= int(startStr.split(‘,‘)[3].strip()[1:-1])
return
realNumber
def setSearchNextPage(self):
self.nextPage = re.findall(‘(?<=\"下一页\"
href=\").*(?=\">下一页</a>)‘, self.html)
if
len(self.nextPage) > 0:
self.url = self.nextPage[0]
return True
return
False
def
setAndSearch(self,keyword):
self.setKeyWord(keyword)
self.getHtml()
self.list()
while
self.setSearchNextPage():
self.getHtml()
self.list()
if __name__ == "__main__":
keyword = raw_input("Type in search
keyword:")
readFromWeb =
ReadFromWeb()
readFromWeb.setAndSearch(keyword)
下面是使用结果示例：
————————————————————————————
Type in search keyword:java
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:190:http://www.youlu.net/2597032
Java面向对象程序设计
有货:88:http://www.youlu.net/2504849
Java EE 5开发基础与实践
有货:70:http://www.youlu.net/500752
Java 2实用教程 (第三版)
有货:68:http://www.youlu.net/5310
Java课程设计(第二版)
有货:61:http://www.youlu.net/500751
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:60:http://www.youlu.net/2596529
JAVA 2实用教程(第三版)-实验指导与习题解答
有货:48:http://www.youlu.net/10750
Java 语言与面向对象程序设计(第2版)
有货:47:http://www.youlu.net/356506
Java程序设计教程(第2版)
有货:42:http://www.youlu.net/1008395
Java XML应用程序设计
有货:39:http://www.youlu.net/338105
Java程序设计习题集(含参考答案)
有货:37:http://www.youlu.net/1206253
Java大学实用教程学习指导(第2版)
有货:37:http://www.youlu.net/461648