Step By Step

一.什么是python爬虫

按照自己的理解就是通过python语言去批量获取一些网页上的信息，并整理好。

二.实现思路

简单来说就是向豆瓣服务器发送请求，获取到服务器响应的250部电影数据后，响应的数据会分为10页，每页25部。这些数据展示在前台界面是以html格式展示的。我们的思路就是以html的方式去解析页面，然后再将获取到的对象做进一步解析，最终获取到想要的内容（电影链接、电影名字、电影海报地址等等），存储到excel中。

三.流程构建

1.准备工作

想要爬取任何数据我们首先都是先分析数据，如图，我们以开发者模式打开豆瓣电影top250网页

• 在elements中可以找到每部电影对应的位置信息，我们可以大致浏览下网页的结构

• 在network中，可以看到我们给服务器发送的请求格式，以及服务器的响应

2.获取数据

通常情况下一些服务器会做一些防爬虫处理，服务器是根据请求方发送的user-agent内容去做判断的，所以我们在获取服务器数据的时候，需要手动设置下我们的请求head封装在request中，直接在开发者模式中复制即可

 head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.81 Safari/537.36"}
                        #用户代理*表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是告知服务器，我们可以接受什么水平的文件内容）
    request = urllib.request.Request(url,headers=head)     #request.Request这个方法就是用来封装发送请求的

3.解析内容

以获取电影链接为例子，我们需要考虑的是：在开发者模式下链接的位置以及如何提取出链接内容，过滤掉不需要的元素标签。如下图可以看出来，所有电影都是li、item元素中，

• 第一步：设置好正则表达式的格式用来取出数据
  
• 第二步：第一个电影中同一个item中有两个电影链接，以列表格式提取出数据后，我们取第一位就可以了

 link = re.findall(findlink,item)[0] #通过正则来查找指定字符串,为什么用[0]呢？因为一个item里面有多个链接，我们取第一个就可以，findlink就是取链接的规则，全局声明下
            print('电影链接：'+link)

• 第三步提取电影链接，详细代码见最后的完整代码

4.保存数据

我们可以将数据保存到excel中，也可以存储在数据库中，此篇文章就简单介绍下如何存储数据到excel。

四.完整代码

注意：21行hr ef中间空了个格子，复制代码的话请自行删掉，因为不空格的话，后面的文字会被认为是链接

# coding = utf-8

from bs4 import BeautifulSoup #网页解析，获取数据的
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error #制定URL，获取网页数据
import xlwt #进行excel操作
import  sqlite3 #进行SQLite数据库操作

def main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取网页
    datalist = getData(baseurl)
    print(datalist)
    #2.解析网页
    savepath="豆瓣电影TOP250.xls"
    #3.保存数据
    saveData(datalist,savepath)

    #askURL("https://movie.douban.com/top250?start=")
#影片链接
findlink = re.compile(r'<a hr ef="(.*?)">') #创建正则表达对象，表示规则,r:表示忽视所有的特殊符号，因为链接中有特殊符号,?表示特殊字符有0次或者无数次
#影片图片
findImg=re.compile(r'<img.*src="(.*?)"',re.S) #re.S是让换行符包含在字符中
#影片片名
findTitle=re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#影片评价
findJudge=re.compile(r'<span>(.\d*)人评价</span>')
#影片概况
findInq=re.compile(r'<span class="inq">(.*)</span>')
#影片的相关内容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)


#爬取网页
def getData(baseurl):
    datalist =[]
    for i in range(0,10): #调用获取页面信息的函数*10次
        url = baseurl + str(i*25)
        html= askURL(url) #保存获取到的网页源码
        #2.逐一解析数据
        soup = BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"):
            #print(item)#测试，查看电影item的全部信息
            data=[]#保存一部电影的所有信息
            item=str(item)
            #print(item)
            #break
            link = re.findall(findlink,item)[0] #通过正则来查找指定字符串,为什么用[0]呢？因为一个item里面有多个链接，我们取第一个就可以，findlink就是取链接的规则，全局声明下
            data.append(link)
            findPic=re.findall(findImg,item)[0]
            data.append(findPic)
            movieTitle = re.findall(findTitle, item)
            if (len(movieTitle) == 2):
                ctitle=movieTitle[0]
                data.append(ctitle)
                otitle=movieTitle[1].replace("/","")
                data.append(otitle)
            else:
                data.append(movieTitle[0])
                data.append(' ')

            movieRating= re.findall(findRating, item)
            data.append(movieRating)
            movieJudge=re.findall(findJudge, item)[0]
            data.append(movieJudge)
            movieInq=re.findall(findInq, item)
            if len(movieInq) != 0:
                movieInq=movieInq[0].replace("。","")
                data.append(movieInq)
            else:
                data.append(" ")
            movieBd = re.findall(findBd, item)[0]
            movieBd=re.sub('<br(\s+)?/>(\s+)?'," ",movieBd)
            movieBd=re.sub('/'," ",movieBd)
            data.append(movieBd.strip()) #strip去掉前后空格

            datalist.append(data)


    return datalist

def askURL(url):
    #模拟浏览器头部信息，向豆瓣服务器发送消息
    head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.81 Safari/537.36"}
                        #用户代理*表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是告知服务器，我们可以接受什么水平的文件内容）
    request = urllib.request.Request(url,headers=head)     #request.Request这个方法就是用来封装发送请求的
    html =""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
       # print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html


#保存数据
def saveData(datalist,savepath):
    print("正在保存数据中...")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)
    sheet=book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)
    col = ("电影链接","影片图片","影片中文名","影片英文名","影片评分","影片评价","影片概况","影片的相关内容")
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,250):
        print("第%d条" %i)
        data=datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])
    book.save(savepath)

if __name__ =="__main__":
    main()

五.运行结果

参考链接

注意：本片文章基本是照着教程实现的，如有时间请看教程学习
python爬虫