python爬虫积累（一）--------selenium+python+PhantomJS的使用

2022-02-11 00:46:01

　　最近按公司要求，爬取相关网站时，发现没有找到js包的地址，我就采用selenium来爬取信息，相关实战链接：python爬虫实战（一）--------中国作物种质信息网

一、Selenium介绍

　　Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，有 Python 吗？那是必须的！安装只要cmd中 pip install selenium 即可。

二、爬虫为什么要用selenium？

　对于一般网站来说scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要执行js才能显现，而且你肉眼所能看到的基本都能爬取下来，在学习中遇到了，就记录下来方便以后查看。

　webdrive是selenium中一个函数：

 from selenium import webdriver

 driver = webdriver.PhantomJS()

 driver.get('网址')

其中PhantomJS同时可以换成Chrome、Firefox、Ie等等，但是PhantomJS是一个无头的浏览器，运行是不会跳出相应的浏览器，运行相对效率较高。在调试中可以先换成Chrome，方便调试，最后再换成PhantomJS即可。

三、PhantomJS介绍

　　PhantomJS是一个基于webkit的JavaScript API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JavaScript代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、HTML5、Canvas、SVG等，同时也提供了处理文件I/O的操作，从而使你可以向操作系统读写文件等。PhantomJS的用处可谓非常广泛，诸如前端*面自动化测试（需要结合Jasmin）、网络监测、网页截屏等。

　　PhantomJS官方地址：http://phantomjs.org/。

　　PhantomJS官方API：http://phantomjs.org/api/。

　　PhantomJS官方示例：http://phantomjs.org/examples/。

　　PhantomJS GitHub：https://github.com/ariya/phantomjs/。

四、PhantomJS安装

本人windowns7系统，把下载下来的phantomjs.exe移到你所用python文件夹下的Script中就可以使用了。（下载PhantomJS-2.1.1-windowns.zip链接：http://pan.baidu.com/s/1c8HeBc 密码：2zm4）

小测试：

 from selenium import webdriver

 driver = webdriver.PhantomJS()

 driver.get("http://hotel.qunar.com/")

 data = driver.title

 print data

 #输出

 【去哪儿酒店】酒店预订, 酒店查询-去哪儿网Qunar.com

五、操作实战

 # -*-coding:utf-8-*-

 from selenium import webdriver

 import time

 import win32api

 import re

 import win32con

 browser = webdriver.PhantomJS()

 '''PhantomJS的屏幕截图是滚动底部的,而Chrome没有'''

 browser.get("http://flight.qunar.com/")  #打开去哪儿官网

 a=browser.get_screenshot_as_file("E:/Python27/test2.jpg")  #屏幕截图

 browser.find_element_by_id("searchTypeRnd").click() #点击往返

 browser.find_element_by_xpath('//*[@id="dfsForm"]/div[2]/div[1]/div/input').clear() #先清理下输入框，默认是有地方的

 browser.find_element_by_xpath('//*[@id="dfsForm"]/div[2]/div[1]/div/input').send_keys(u"北京")  #输入起点位置

 '''这里涉及到win32api可以参考相关手册----以下是键盘操作'''

 time.sleep(0.5)

 win32api.keybd_event(108,0,0,0)  #按enter键

 #按某个键 win32api.keybd_event(键位码,0,0,0)

 win32api.keybd_event(108,0,win32con.KEYEVENTF_KEYUP,0)#释放按键

 #释放按键 win32api.keybd_event(键位码,0,win32con.KEYEVENTF_KEYUP,0)

 browser.find_element_by_xpath('//*[@id="dfsForm"]/div[2]/div[2]/div/input').clear()

 browser.find_element_by_xpath('//*[@id="dfsForm"]/div[2]/div[2]/div/input').send_keys(u"上海")  #输入终点位置

 time.sleep(0.5)

 win32api.keybd_event(108,0,0,0)   #按enter键

 win32api.keybd_event(108,0,win32con.KEYEVENTF_KEYUP,0)  #释放按键

 browser.find_element_by_xpath('//*[@id="fromDate"]').clear()

 browser.find_element_by_xpath('//*[@id="fromDate"]').send_keys("2017-04-19")  #输入出发时间

 #browser.find_element_by_xpath('//*[@id="fromDate"]').click()

 browser.find_element_by_xpath('//*[@id="toDate"]').clear()

 browser.find_element_by_xpath('//*[@id="toDate"]').send_keys("2017-04-22")  #输入返程时间

 #browser.find_element_by_xpath('//*[@id="toDate"]').click()

 '''法二设置地点和时间'''

 #browser.find_element_by_name("name").send_keys("北京(BJS)")  #设置值

 #browser.find_element_by_name("pass").send_keys("上海(SHA)")  #设置值

 #browser.find_element_by_id("txtAirplaneTime1").send_keys("2016-12-19")  #设置值

 browser.find_element_by_xpath('//*[@id="dfsForm"]/div[4]/button').click() #点击按钮 提交表单

 browser.maximize_window()  #最大窗口

 '''保存当前网页'''

 print(browser.current_url)  #当前url

 #browser.get("http://www.ly.com/FlightQuery.aspx")#cookie保存在对象中，对需认证页面可直接访问

 data=browser.page_source.encode("utf-8","ignore")

 fh=open("E:/python27/qun.html","wb")

 fh.write(data)

 fh.close()

 data2=browser.page_source

 #print data2

 a=browser.get_screenshot_as_file("E:/Python27/test.jpg")

 #print(browser.page_source)

 ''''后续可以抓取一些东西'''

 browser.quit()