使用python抓取有路网图书信息(原创)

  以前挺喜欢去有路网买二手书的,但是有路网有个缺陷,就是放在图书列表中的书很多都没货了,尤其是一些热门的方向,比如android,在列表中的书大多都没有货了,你必须一个一个点进入查看详细信息才能得知图书是否有货。因此,很久之前用python写了一个抓取的脚本,用来按书名搜索图书以及库存信息。现在拿出来与大家分享一下,因为是最开始学python的时候写的,有些地方写的不是特别好。比如那个时候对于正则表达式不是特别懂,所以用的不是特别好。其次,采用urllib库发送http请求的,效率太低。建议使用tornado库或者采用node.js。哦,还有一个问题,网页编码处理的不好,可能部分网页会乱码。废话少说,直接上代码:

# coding: utf-8

import urllib
import re
import sys
reload(sys)
sys.setdefaultencoding(‘utf8‘)


class ReadFromWeb:
  def setKeyWord(self, keyword):
    self.url = ‘http://www.youlu.net/search/result/?isbn=&publisherName=&author=&bookName=‘ + urllib.quote(keyword.decode(‘utf-8‘).encode(‘gb18030‘))

 

  def getHtml(self):
    try:
      self.html = urllib.urlopen(self.url).read().decode(‘gb18030‘).encode(‘utf-8‘)
      except UnicodeDecodeError:
      self.html = urllib.urlopen(self.url).read()
    finally:
      return self.html

  def list(self):
    self.id_group = re.findall(‘<a href=\"/[0-9]*\" target=\"_blank\">.*</a>‘, self.html)
    for in_id in self.id_group:
      try:
        url = re.findall(‘[0-9]+‘,in_id)[0].encode(‘utf-8‘)
        detail = re.findall(‘>.*<‘,in_id)[0].encode(‘utf-8‘)
      except UnicodeDecodeError:
        url = re.findall(‘[0-9]+‘,in_id)[0]
        detail = re.findall(‘>.*<‘,in_id)[0]

      if detail.find(‘img‘)<0 and detail.find(‘我要购买‘)<0:
        if self.getDetail(url) > 0:
          print detail[1:-1]
          print ‘有货:‘+str(self.getDetail(url))+":"+"http://www.youlu.net/"+url
        else:
          print detail[1:-1]
          print ‘无货‘+":"+"http://www.youlu.net/"+url

  def getDetail(self, url):
    target = "http://www.youlu.net/" + str(url);
    try:
      returnStr = urllib.urlopen(target).read().decode(‘gb18030‘).encode(‘utf-8‘)
    except UnicodeDecodeError:
      return 0
    startStr = re.findall(‘startRequestBookBuyLink\(.*\)‘,returnStr)[0]
    realNumber = int(startStr.split(‘,‘)[3].strip()[1:-1])
    return realNumber

  def setSearchNextPage(self):
    self.nextPage = re.findall(‘(?<=\"下一页\" href=\").*(?=\">下一页</a>)‘, self.html)
    if len(self.nextPage) > 0:
      self.url = self.nextPage[0]
      return True
    return False

  def setAndSearch(self,keyword):
    self.setKeyWord(keyword)
    self.getHtml()
    self.list()
    while self.setSearchNextPage():
      self.getHtml()
      self.list()

if __name__ == "__main__":
  keyword = raw_input("Type in search keyword:")
  readFromWeb = ReadFromWeb()
  readFromWeb.setAndSearch(keyword)

 

下面是使用结果示例:

————————————————————————————

Type in search keyword:java
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:190:http://www.youlu.net/2597032
Java面向对象程序设计
有货:88:http://www.youlu.net/2504849
Java EE 5开发基础与实践
有货:70:http://www.youlu.net/500752
Java 2实用教程 (第三版)
有货:68:http://www.youlu.net/5310
Java课程设计(第二版)
有货:61:http://www.youlu.net/500751
JAVA 2实用教程实验指导与习题解答-(第三版)
有货:60:http://www.youlu.net/2596529
JAVA 2实用教程(第三版)-实验指导与习题解答
有货:48:http://www.youlu.net/10750
Java 语言与面向对象程序设计(第2版)
有货:47:http://www.youlu.net/356506
Java程序设计教程(第2版)
有货:42:http://www.youlu.net/1008395
Java XML应用程序设计
有货:39:http://www.youlu.net/338105
Java程序设计习题集(含参考答案)
有货:37:http://www.youlu.net/1206253
Java大学实用教程学习指导(第2版)
有货:37:http://www.youlu.net/461648

使用python抓取有路网图书信息(原创)

上一篇:mpvue开发微信小程序基础知识


下一篇:使用mybatis出现异常:invalid comparison: java.time.LocalDateTime and java.lang.String