一、基础知识

http://blog.csdn.net/pi9nc/article/details/9734437

二、模拟登录

因为上学期参加了一个大数据比赛，需要抓取数据，所以就想着写个爬虫抓取新浪微博的数据。

当然抓取数据不是漫无目的的，我需要的是根据关键词来抓取相关微博。

正好微博有一个高级搜索功能，不过要获取更多的微博，需要登录，所以这时就需要模拟登录了。

以下代码是通过rsa加密算法模块来模拟的。需要注意的是，新浪有反爬虫的，所以我们登录的时候要伪装成浏览器。

代码不是自己写的，所以文章类型标为转载，因为代码大同小异，所以我就不写咯，里面的一些具体代码和问题解析，我也不一一赘述了，因为模拟登录不是我的重点，下一篇我将跟大家谈一谈登录后的抓取与网页解析部分。至于登录，文章开头的链接中有详细教程，有兴趣的可以看一下。