网络爬虫(一)

一、简介
  1、robot协议(爬虫协议):这个协议告诉引擎哪些页面可以抓取,哪些不可以
-User-agent:爬虫引擎
-allow:允许robot访问的URL
-disallow:禁止访问的URL

  2、爬虫约束:过快/频繁的网络爬虫会对服务器产生巨大的压力,网站可能*你的IP,或者采取法律行动,所以需要将请求速度限定在一个合理范围内

  3、爬虫流程:

  -获取网页:给网页一个网址发送请求,该网址会返回整个网页的数据;
  -解析网页(提取数据):从整个网页中提取想要的数据
  -存储数据:将数据存储下来,可以存在csv中,或者数据库中

二、新建爬虫
  1、获取网页
  -导入request类,使用requests.get(link,headers=headers)获取网页
  ·requests的header伪装成浏览器访问;
  ·r是requests的Response回复对象,从中获取想要的信息,r.text是获取的网页内容代码

  2、提取需要的数据:
 1 import requests
 2 from bs4 import BeautifulSoup   #从bs4这个库中导入BeautifulSoup
 3 link='http://www.santostang.com/'
 4 headers={
 5     'User-Agent':'Mozilla/5.0(Windows;U;Windows NT6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
 6 }
 7 r=requests.get(link,headers=headers)
 8 # 下面的写法报错:bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
 9 # 修正方法:1、更改参数'lxml'为'html.parser';2、下载lxml
10 # soup=BeautifulSoup(r.text,'lxml')   # 使用BeautifulSoup解析这段代码
11 soup=BeautifulSoup(r.text,'html.parser')
12 title=soup.find('h1',class_='post-title').a.text.strip() # 提取第一篇博文的标题
13 # print(r.text)
14 print(title)
15 with open('title.txt','a+') as f:
16     f.write(title)
17     f.close()

 

 三、静态页面抓取

   1、参数介绍:

      -r.text:服务器响应的内容,会自动根据响应头部的字符编码进行解码
  -r.encoding:服务器内容使用的文本编码;
  -r.status_code:用于检测响应的状态码.
·返回200,表示请求成功;
·返回4xx,表示客户端错误;
·返回5xx,表示服务器错误响应
  -r.content:字节方式的响应体,会自动解码gzip和deflate编码的响应数据;
  -r.json:是Requests中的内置的JSON解码器
1 import requests
2 r=requests.get('http://www.baidu.com./')
3 print('文本编码:',r.encoding)
4 print('响应状态码:',r.status_code)
5 print('字符串方式的响应体:',r.text)

   2、传递URL参数
  为了请求特定的数据,需要在URL的查询字符串中加入某些数据,如果自己构建URL,数据一般会接在一个
问号后面,并且以键值对的行是放在URL中
1 import requests
2 key_dict={
3     'key1':'value1',
4     'key2':'value2'
5 }
6 r=requests.get('http://httpbin.org/get',params=key_dict)
7 print('URL已经正确编码:',r.url)
8 print('字符串方式的响应头:\n',r.text)

   3、定制请求头
  请求头Headers提供关于请求,相应或其他发送实体的信息。
  requests并不会基于定制的请求头headers的具体情况改变自己的行为,只是在最后的请求中,所有的请求头信息都会被传递进去
提取请求头中重要的部分:
 1 import requests
 2 headers={
 3     'user-agent':'Mozilla/5.0 (Windows NT 6.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
 4     'Host':'www.santostang.com'
 5 }
 6 r=requests.get('http://www.santostang.com/',headers=headers)
 7 print('响应状态码:',r.status_code)
 8 
 9 import requests
10 headers={
11     'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
12     'Host':'movie.douban.com'
13 }
14 # r=requests.get('https://movie.douban.com/top250',headers=headers)
15 # print('响应状态码:',r.status_code)

 

练习:豆瓣TOP250

 

 1 import requests
 2 from bs4 import BeautifulSoup
 3 def get_movies():
 4     headers={
 5         'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36',
 6         'Host':'movie.douban.com'
 7     }
 8     movie_list=[]
 9     for i in range(0,10):
10         link='https://movie.douban.com/top250?start='+str(i*25)
11         r=requests.get(link,headers=headers,timeout=10)
12         print(str(i+1),'页响应状态码:',r.status_code)
13         soup=BeautifulSoup(r.text,'html.parser')
14         div_list=soup.find_all('div',class_='hd')
15         for each in div_list:
16             movie=each.a.span.text.strip() # 相关定位问题参见https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id20
17             movie_list.append(movie)
18     return movie_list
19 movies=get_movies()
20 print(movies)

 

上一篇:WPF 使用Webbrowser加载Echart图表库实现蜡烛图。


下一篇:爬虫代码 暂时存放