目录
v搜索公众号:zhulin1028
后台回复:【Python1】【Python2】【Python3】【Python全栈】【爬虫】
免费获取对应资料。
欢迎技术交流,加我V:ZL3132537525
前言
前面的章节中,我们介绍了如果在客户端与服务器之间进行数据交换。我们可以使用GET方法和POST方法与服务器进行交互,敏感数据只应使用POST请求进行发送,以避免将书暴露在URL中。当然,服务器还支持其他HTTP方法,比如PUT和DELETE等方法,但这些方法在表单中都不支持。
一、关于表单
客户端的浏览器需要与网站服务器进行交互,服务器需要根据用户输入返回对应的信息。
来看w3c的一个例子:
http://www.w3school.com.cn/html/html_forms.asp
关于GET,POST与服务器的交互方法,可以见5.2节。
下面我们重点来看一个怎么处理登录表单的问题。
二、管理cookie
1、使用cookie登录
HTTP协议本身是无状态的,怎么保存来过或登陆过网站的信息?
所以我们需要在HTTP协议之外通过某种机制来识别用户的身份。于是就有了Session和Cookie。
什么是Cookie,什么是Session?
会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份,Session通过在服务器端记录信息确定用户身份。
Cookie意为“甜饼”,是由W3C组织提出,最早由Netscape社区发展的一种机制。目前Cookie已经成为标准,所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。由于HTTP是一种无状态的协议,服务器单从网络连接上无从知道客户身份。所以就给客户端们颁发一个通行证吧,每人一个,无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。
Cookie实际上是一小段的文本信息。客户端请求服务器,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie。客户端浏览器会把Cookie保存起来。当浏览器再请求该网站时,浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie,
以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。
我们通过一个实例来看一下怎么使用Cookie做登录的操作。有些时候爬虫只有登录之后才能抓取到网页中的信息。比如微博,知乎,人人网等。
关于Cookie的更详细信息,可以参看: https://www.w3cschool.cn/pegosu/skj81ozt.html
2、 ##补充知识 cookiejar的使用
Cookie有时间限制,有域的限制,有编码问题等等。如果自己来管理Cookie,会很繁琐,特别是当有多个Cookie需要管理时,想要很好的管理Cookie很困难。
当遇到网页登录后,返回302跳转的情况下,urllib2的Response会丢失Set-Cookie的信息,导致登录不成功。
我们需要一个通用的能处理Cookie的工具来自动处理Set-Cookie请求;自动管理过期的Cookie,自动在对应域下发特殊Cookie;为了应对这些问题,我们引入了CookieJar;
三、关于验证码(CAPTCHA)
网站为了防止黑客程序的恶意欺诈和攻击,采取的一种防御措施。据说最早是paypal这家公司引入的技术,现在已经在互联网网站中被广泛使用。
一般处理验证码CAPTCHA有两种方式:
1)在需要输入验证码时程序弹出图片让用户自己输入;
2)使用图像识别技术来识别图中的信息;
光学字符识别 OCR:OCR(Optical Character Recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法,将形状翻译成计算机文字的过程;
程序处理复杂验证码的方法:
1.使用Google的开源项目 Tesseract;
安装Tesseract:
Ubuntu中安装:
sudo apt-get install tesseract-ocr
pip install pytesseract
训练与测试:https://www.cnblogs.com/cnlian/p/5765871.html
简单的Python测试代码:
from PIL import Image
from pytesseract import *
# 加载图片
image = Image.open('test1.jpg')
# 识别过程
text = image_to_string(image)
print(text)
2.使用百度AI等等: