之所以要写代码进行爬取，是因为我太懒了，呜呜呜，如果能天天躺着刷手机谁会打代码~~

今天上午归档的时候归了半个多小时我就不想归档了，就在图书馆摸鱼，摸着摸着就萌生了写爬虫的想法；

下面介绍一下这个爬虫

 

1.导入库 　　

第一步就是导入所需要的库 equests, xlwt，BeautifulSoup，urllib.request，这些库包含了爬虫的解析库，还有excel的操作库，可以pip进行安装。

import requests, xlwt
from bs4 import BeautifulSoup
import urllib.request

2.建立存储容器

url_list1 = []  # 用于存放标题和url
url_list2 = []  #用于存放日期
url_list3 = []  #用于存放详情界面

3.进行列表界面的爬取，列表界面可以爬取题目，链接，日期。这次写爬虫有一个深刻教训，爬取内容尽量在一个div里边进行爬取，起初题目和时间不在一个div里边，导致爬的题目和日期数目对不上位，一个错误卡了我两个小时。

# 获取列表页中的所有博客url，标题，链接，日期；
def get_url(html):
    soup = BeautifulSoup(html, 'lxml')  # lxml是解析方式，第三方库

    blog_url_list1 = soup.find_all('div', class_='postTitle')
    for i in blog_url_list1:
        url_list1.append([i.find('a').text, i.find('a')['href']])

    #获取列表日期，时间
    blog_url_list2 = soup.find_all('div', class_='postDesc')
    for i in blog_url_list2:
        s = i.text[9:25]
        # print(s)
        url_list2.append(s)


#开始爬取
for page in range(0, 1): #定义要爬取的页面数
    url = 'http://www.cnblogs.com/linmob/default.html?page={}'.format(page)
    # print(url)
    get_url(get_content(url))

4.详情页进行详细内容的爬取

#详情页中内容进行分步爬取
lens = len(url_list1)

for j in range(0, lens):
    url=url_list1[j][1]
    req=urllib.request.Request(url)
    resp=urllib.request.urlopen(req)
    html_page=resp.read().decode('utf-8')
    soup=BeautifulSoup(html_page,'html.parser')

#print(soup.prettify())

    div=soup.find(id="cnblogs_post_body")

    url_list3.append([div.get_text()])

5.生成表格

newTable = '韩佳作.xls' #生成的excel名称
wb = xlwt.Workbook(encoding='utf-8')  # 打开一个对象
ws = wb.add_sheet('blog')  # 添加一个sheet
headData = ['博客标题', '链接','时间','详细内容']
# 写标题
for colnum in range(0, 4): #定义的四列名称
    ws.write(0, colnum, headData[colnum], xlwt.easyxf('font:bold on'))  # 第0行的第colnum列写入数据headDtata[colnum]，就是表头，加粗
index = 1
#lens = len(url_list1)
# 写内容
# print(len(url_list1),len(url_list2))
print(url_list2)
for j in range(0, lens):
    ws.write(index, 0, url_list1[j][0])
    ws.write(index, 1, url_list1[j][1])
    ws.write(index, 2, url_list2[j])
    ws.write(index, 3, url_list3[j][0])
    index += 1  # 下一行
wb.save(newTable)  # 保存

 

完整代码

import requests, xlwt
from bs4 import BeautifulSoup
import urllib.request

url_list1 = []  # 用于存放标题和url
url_list2 = []  #用于存放日期
url_list3 = []  #用于存放详情界面

# 获取源码
def get_content(url):
    html = requests.get(url).content
    return html


# 获取列表页中的所有博客url，标题，链接，日期；
def get_url(html):
    soup = BeautifulSoup(html, 'lxml')  # lxml是解析方式，第三方库

    blog_url_list1 = soup.find_all('div', class_='postTitle')
    for i in blog_url_list1:
        url_list1.append([i.find('a').text, i.find('a')['href']])

    #获取列表日期，时间
    blog_url_list2 = soup.find_all('div', class_='postDesc')
    for i in blog_url_list2:
        s = i.text[9:25]
        # print(s)
        url_list2.append(s)


#开始爬取
for page in range(0, 1): #定义要爬取的页面数
    url = 'http://www.cnblogs.com/linmob/default.html?page={}'.format(page)
    # print(url)
    get_url(get_content(url))


#详情页中内容进行分步爬取
lens = len(url_list1)

for j in range(0, lens):
    url=url_list1[j][1]
    req=urllib.request.Request(url)
    resp=urllib.request.urlopen(req)
    html_page=resp.read().decode('utf-8')
    soup=BeautifulSoup(html_page,'html.parser')

#print(soup.prettify())

    div=soup.find(id="cnblogs_post_body")

    url_list3.append([div.get_text()])


newTable = '韩佳作.xls' #生成的excel名称
wb = xlwt.Workbook(encoding='utf-8')  # 打开一个对象
ws = wb.add_sheet('blog')  # 添加一个sheet
headData = ['博客标题', '链接','时间','详细内容']
# 写标题
for colnum in range(0, 4): #定义的四列名称
    ws.write(0, colnum, headData[colnum], xlwt.easyxf('font:bold on'))  # 第0行的第colnum列写入数据headDtata[colnum]，就是表头，加粗
index = 1
#lens = len(url_list1)
# 写内容
# print(len(url_list1),len(url_list2))
print(url_list2)
for j in range(0, lens):
    ws.write(index, 0, url_list1[j][0])
    ws.write(index, 1, url_list1[j][1])
    ws.write(index, 2, url_list2[j])
    ws.write(index, 3, url_list3[j][0])
    index += 1  # 下一行
wb.save(newTable)  # 保存

懒还是第一生产力啊，同时希望我在接下来的概率论和毛概考试起飞~~~~