Selenium+Chrome/phantomJS模拟浏览器爬取淘宝商品信息

 #使用selenium+Carome/phantomJS模拟浏览器爬取淘宝商品信息
 # 思路:
 # 第一步:利用selenium驱动浏览器,搜索商品信息,得到商品列表
 # 第二步:分析商品页数,驱动浏览器翻页,并得到商品信息
 # 第三步:爬取商品信息
 # 第四步:存储到mongodb
 import re
 from selenium import webdriver
 from selenium.common.exceptions import TimeoutException
 from selenium.webdriver.common.by import By
 from selenium.webdriver.support.ui import WebDriverWait
 from selenium.webdriver.support import expected_conditions as EC
 from pyquery import PyQuery as pq
 from config import *
 import pymongo

 client = pymongo.MongoClient(MONGO_URL)
 db = client[MONGO_DB]
 # 声明浏览器对象,这里定为Chrome
 # browser = webdriver.Chrome()
 # 声明浏览器对象,可以使用PhanttomJS,这是*面浏览器,可以设置不加载图片,启用缓存等加快速度
 browser = webdriver.PhantomJS(service_args=SERVICE_ARGS)  # 在配置文件设定参数

 browser.set_window_size(1400, 900)  # 默认的窗口比较小,为避免影响操作需设定

 # 传入搜索关键词并搜索
 # 在这里,需要等待搜索框与搜索按钮加载出来完毕,方可传入关键词,并点击搜索
 wait = WebDriverWait(browser, 10)  # 表示给browser浏览器一个10秒的加载时间

 def search():
     print('正在搜索……')
     try:
         # 驱动浏览器打开网页
         browser.get('https://www.taobao.com/')
         input = wait.until(EC.presence_of_element_located((By.ID, 'q')))  # 表示在规定时间内等待,直到id为q的元素加载出来,注意传入的是元组
         input.send_keys(KEYWORDS)
         # 同样的道理,搜索的按钮也需要等待,直到按钮加载出来,是可以点击的
         button = wait.until(EC.element_to_be_clickable(
             (By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))  # 表示规定时间内,搜索按钮是否是可点击的
         button.click()
         #页面加载完成后,找到总页数
         total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))

         get_product()
         return total.text
     except TimeoutException:
         return search()

     # # 得到当前页面的html
     # html = browser.page_source

 def next_page(page_number):
     print('正在翻页……')
     try:
         #等待页码框加载完成
         input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input')))

         #等待确定按钮可点击,然后点击
         button  = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))

         # 清空并输入页码
         input.clear()
         input.send_keys(page_number)

         button.click()

         #检查当前页是否切换 text_to_be_present_in_element 某个元素文本包含某文字
         wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))

         get_product()
     except TimeoutException:
         next_page(page_number)

 def get_product():
     wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist > div')))
     html = browser.page_source
     doc = pq(html)
     lis = doc('#mainsrp-itemlist .items .item').items()
     for item in lis:
         product={
             'title':item.find('.title').text(),#find方法是为了嵌套找出来,防止遗漏
             'price':item.find('.price').text(),
             'deal':item.find('.deal-cnt').text(),
             'shop':item.find('.shop').text(),
             'location':item.find('.location').text(),
             'image':item.find('.pic .img').attr('src')
         }
         print(product)
       #return product #终于找到问题所在了,谨慎使用return啊,因为函数遇到return就会返回!,不再进行循环了 save_to_mongo(product) def save_to_mongo(result): try: if db[MONGO_TABLE].insert(result): print('保存到MONGODB成功',result) except Exception: print('保存到MONGODB失败',result) def main(): try: total = search() total = int(re.compile(r'(\d+)').search(total).group(1))#正则提取页数 for page_number in range(2,total + 1): next_page(page_number) except Exception: print('出错了') finally: browser.close() if __name__=='__main__': main() #配置文件 MONGO_URL = 'localhost' MONGO_DB = 'taobao' MONGO_TABLE = 'product' SERVICE_ARGS =['--disk-cache=true','--load-images=false'] KEYWORDS = '美食'
上一篇:HRBUST 1909 理工门外的树(双数组实现线段树功能)


下一篇:luogu3687-[ZJOI2017] 仙人掌