需要结合：《百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量--笔记篇》 一起看。
#!/user/bin/env python
# -*- coding:utf-8 -*-
# author:隔壁老王 import requests
import re def baidu_spider(key,pn):
#第一步：确认目标URL: 百度搜索“程序设计”的url
#key = '正则表达式'
#url = 'https://www.baidu.com/s?wd=%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1&rsv_spt=1&rsv_iqid=0x967855b80019cdd1&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=0&rsv_sug3=3&rsv_sug1=2&rsv_sug7=100&inputT=643536&rsv_sug4=644636'
url = 'https://www.baidu.com/s?&rsv_spt=1&rsv_iqid=0x967855b80019cdd1&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=0&rsv_sug3=3&rsv_sug1=2&rsv_sug7=100&inputT=643536&rsv_sug4=644636'
#优化点 1 这个url被写死了，如果想爬取其他东西该怎么办呢
fb = open('res\\{}.txt'.format(key), 'w', encoding='utf-8') # 优化点3
#优化点 4 实现翻页
for i in range(pn): #还有一个请求参数
data = {'wd':key,'pn': i * 10} #wd=%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1 这个其实就是“程序设计”，是被编码成这样子的，搜索的关键字 #第三步：伪装请求头,
headers = {
'User-Agent':r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
#字典中的信息在Headers栏的Request Headers下的User-Agent :用来标识用户类型，是谷歌浏览器还是IE浏览器等 #第二步：向第一步中的url发送http请求，要用到requests模块
#这个模块的安装，在PyCharm的Terminal命令行中输入 pip install requests 命令
#response = requests.get(url,headers = headers)
response = requests.get(url,headers = headers,params = data,timeout = 10)
#这里为啥要用GET请求呢，，因为在Headers栏中Request Method:GET 是这里决定的，我们就是在模拟浏览器呢，所以浏览器用get,我们也要用get
#请求完之后一定会收到数据，所以需要定义一个变量接受url返回的数据
#response中是很多数据的，很多个信息打包在一起，想要把里边的信息拿出来，就需要把这个包裹拆开
#如果想从这个包裹中读取到文本信息该如何操作呢？
#print(response.text) #这text就是html的所有内容了，就这样获取了
''' 打印信息如下：
<html>
<head>
<script>
location.replace(location.href.replace("https://","http://"));
</script>
</head>
<body>
<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>
</body>
</html>
'''
#很明显出问题了，并没有返回什么实质性的信息，返回的数据太简单了
#出了什么问题呢？
#一个陌生的人打电话找你借钱，你肯定不给，，这里就涉及到网站的反爬，只会把信息返回给合法的用户，百度有反爬手段拒绝爬虫的
#百度的反爬手段是，在发送http请求的时候，额外带一点信息，把自己的身份带上
#服务器会根据身份监测 这个请求是不是合法用户发出来的，如果什么都不写，requests会自己带一个信息，告诉对端服务器，我是requests，服务器一看是个爬虫，就不返回信息给它
#所以我们要进行一个伪装，伪装一个请求头，，第三步的内容
#做好请求头之后，把这个headers作为get()的参数，然后再执行脚本，返回的信息就正常了 #获取到test信息后，现在再过一遍原理，理解一下为什么要这么干 #第四步：进行数据清洗
html = response.text
#divs = re.findall(r'<div class="result c-container ".*?</div>',html,re.S) #需要复习一下正则表达式
#re.S的作用，如果想让 正则表达式中的.去匹配不可见字符（换行、回车、空格等）就要带这个参数
#divs是一个列表
#print(divs[0])
'''
<div class="result c-container " id="1" srcid="1599" tpl="se_com_default" data-click="{'rsv_bdr':'0' ,'rsv_cd':'pt:40520|vLevel:3'}" ><h3 class="t"><a
data-click="{
'F':'778317EA',
'F1':'9D73F1E4',
'F2':'4CA6DD6B',
'F3':'54E5343F',
'T':'1525198098',
'y':'3FF3A3FD' }"
href = "http://www.baidu.com/link?url=dQVdrt2_fgdyKqB1oMjo_CLMibztqwK8-azppn9_Zl8nwZv70cbvRBTuwE4ZqOminSBbbw2-L0Qp5s4ZLQDqujuypHKS1SD4LcOd1S3Rm2PH3Zhz5-vMq1Enkh86pgWV" target="_blank" ><em>程序设计</em>_百度百科</a></h3><div class="c-abstract"><span class=" newTimeFactor_before_abs m">2015年11月29日 - </span><em>程序设计</em>是给出解决特定问题程序的过程,是软件构造活动中的重要组成部分。<em>程序设计</em>往往以某种<em>程序设计</em>语言为工具,给出这种语言下的程序。<em>程序设计</em>过程...</div> '''
#接下来就要获取 href 中的内容，又要写正则表达式了，就是把上边这个url补充完整
urls = re.findall(r'<div class="result c-container ".*?"(http://www.baidu.com/link\?url=.*?)".*?</div>',html,re.S)
#print(urls[0])
#http://www.baidu.com/link?url=zQPLyCOSZWMjz8StrMmgIX5KuIsBnYhCC7vhya7nKbfF9JLvvOqRhYQ2q742zvIzkp2mzoa2REoeaB-b0KO-fSiMlr00E-uXTupL-r2KT0K0w9AfkjCZkcytUOkZ8XQG #打印所有的URL
#for url in urls:
# print(url) #http://www.baidu.com/link?url=K0lSFkZ8icMPLoTxXZKvJ_3l0Vt6pVV03ddlCE8Bp37 #http://www.baidu.com/link?url=K0lSFkZ8icMPLoTxXZKvJ_3l0Vt6pVV03ddlCE8Bp37
#真正的url 是 url=K0lSFkZ8icMPLoTxXZKvJ_3l0Vt6pVV03ddlCE8Bp37，，如何获取这部分内容呢？
#这里就体现了requests的强大之处，如果是urllib的话还要处理跳转 #获取真实url 获取重定向的url
#for url in urls:
# res = requests.get(url,headers = headers)
# print(res.url) #这一步就获取了真实url #http://www.bccn.net/ #上边数据清洗完之后就要做数据持久化了
#数据持久化 把数据写入到res/程序设计.txt中
#这种方式只能写字符串到文本中 #数据持久化 写到文本中
#fb = open('res\\程序设计.txt','w',encoding='utf-8') #fb = open('res\\{}.txt'.format(key), 'a', encoding='utf-8') # 优化点3
#获取真实url 获取重定向的url 访问
#for url in urls: #为了避免同名变量的覆盖，同一个文件中尽量不要使用同名的变量
for b_url in urls:
res = requests.get(b_url,headers = headers)
print(res.url)
fb.write(res.url)
fb.write('\n') ##write()方法需要手动换行，还可以用writeline()替换 #fb.close() fb.close() #下一步考虑优化
#优化点 1 这个url被写死了，如果想爬取其他东西该怎么办呢
#优化点 2 防止某个url获取的过程太耗时，可以设置timeout = 10
#优化点 3 根据爬取关键字的不同，动态根据关键字生成不同的文件
#优化点 4 翻页，所有的翻页都是a标签 pn= 用for循环为pn赋值
#优化点 5 如果要自定义爬取关键字、爬取的页数，把上面这段代码封装成函数
#优化点 6 为了避免频繁打开关闭文件，把文件打开关闭操作放在for循环外 #如果需要同时爬取多个关键字，可以用for循环，还可以自定义每个关键字的爬取页数
keys = {'正则表达式':5,'美女':'','爬虫':12}
for key,value in keys.items():
baidu_spider(key,value)
整理后的代码：
#!/user/bin/env python
# -*- coding:utf-8 -*-
# author:隔壁老王 import requests
import re def baidu_spider(key,pn):
url = 'https://www.baidu.com/s?&rsv_spt=1&rsv_iqid=0x967855b80019cdd1&issp=1&f=8&rsv_bp=0&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=0&rsv_sug3=3&rsv_sug1=2&rsv_sug7=100&inputT=643536&rsv_sug4=644636'
fb = open('res\\{}.txt'.format(key), 'w', encoding='utf-8')
for i in range(pn): data = {'wd':key,'pn': i * 10} headers = {
'User-Agent':r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
} response = requests.get(url,headers = headers,params = data,timeout = 10) html = response.text urls = re.findall(r'<div class="result c-container ".*?"(http://www.baidu.com/link\?url=.*?)".*?</div>',html,re.S) for b_url in urls:
res = requests.get(b_url,headers = headers)
print(res.url)
fb.write(res.url)
fb.write('\n') fb.close() keys = {'正则表达式':5,'爬虫':12}
for key,value in keys.items():
baidu_spider(key,value)