from selenium import webdriver

from selenium.webdriver.support.wait import WebDriverWait

from pyquery import PyQuery as pq

#

# 爬取北京市所有的学校

#

browser = webdriver.Firefox()  # 创建一个浏览器对象,这里还可以使用chrome等浏览器

try:

    BJuniv = []

    browser.get('http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1') # 获取并打开url

    for r in range(4):

        html = browser.page_source  # 获取html页面

        doc = pq(html)              # 解析html

        table = doc('.content tbody')  # 定位到表格

        table.find('script').remove()  # 除去script标签

        list_cont = table('tr').items()  # 获取tr标签列表

        for i in list_cont:

            univ = (i.text()).split()  # 获取每个tr标签中的文本信息，返回一个列表

            print(univ)

            BJuniv.append(univ)

        nextpagebutton = browser.find_element_by_xpath('//*[@id="Lk_Down"]')  # 定位到“下一页”按钮

        nextpagebutton.click()  # 模拟点击下一页

        wait = WebDriverWait(browser, 10)  # 浏览器等待10s

finally:

    browser.close()  # 关闭浏览器

    with open("北京市所有大学.txt", "wt", encoding='utf8') as out_file:  # 存储为txt格式

        out_file.write('全国各省学校名单:\n\n')

        for u in BJuniv:

            out_file.write(str(u) + '\n')