selenium是一个web测试应用框架也可以拿来做爬虫。

1.安装selenium模块

　　pip install -U selenium

2.安装selenium模块后需要有相应的浏览器驱动

　　A.使用phantomjs

　　　　phantomjs是*面的测试浏览器

　　　　我用的是phantomjs-2.1.0-linux-x86_64只要直接使用phantomjs-2.1.0-linux-x86_64文件夹里面的额phantonjs就可以了

 　　from selenium import webdriver

 　　driver = webdriver.PhantomJS('/home/xx/xx/phantomjs-2.1.0-linux-x86_64/bin/phantomjs')##里面是phantomjs的地址

 　　driver.get("http://www.baidu.com")

　　这样就可以直接使用driver操作*面的浏览器了

　　phantomjs下载地址：

　　B.有见面的chrome浏览器安装配置

　　首先需要安装chrome浏览器 和配置相关环境

　　sudo apt-get install libxss1 libappindicator1 libindicator7

　　wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

　　sudo dpkg -i google-chrome*.deb

　　sudo apt-get install -f
　　sudo apt-get install xvfb
　　sudo apt-get install unzip

　　wget -N http://chromedriver.storage.googleapis.com/2.26/chromedriver_linux64.zip

　　unzip chromedriver_linux64.zip

　　chmod +x chromedriver

　　sudo mv -f chromedriver /usr/local/share/chromedriver

　　sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver

　　sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

　　安装相关selenimu

　　sudo apt-get install python-pip
　　pip install pyvirtualdisplay selenium

　　测试代码

 from pyvirtualdisplay import Display

 from selenium import webdriver driver = webdriver.Chrome()

 driver.get('https://www.baidu.com/')

 print driver.title

　　相关链接：https://christopher.su/2015/selenium-chromedriver-ubuntu/

　　版本对应信息: https://sites.google.com/a/chromium.org/chromedriver/downloads