一、需求背景
今天逛微博的时候发现一个有趣的话题**#90后单身原因TOP3#**
一份针对全国90后青年婚恋观进行抽样调查公布了结果。结果显示，一线城市单身占比持续领先。90后单身原因TOP3：圈子小、工作忙、对爱情幻想过于完美。
**单身的三大原因：**圈子小、工作忙、对爱情幻想过于完美！
老王觉得这三个原因都并不合理，难道单身的原因难道不是因为穷吗？
二、功能描述
好奇这个调查是怎么来的？老王认为真实性有待考证，今天就来分析一下为何很多同学如此优秀却依然单身！
三、技术方案
-
模拟登录微博
-
爬取话题
-
保存文件
-
数据清洗
-
数据分析
在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容
四、模拟登录
模拟登录之前讲爬取**#周杰伦超话#**的时候已经讲过了，这里就不再重复，直接贴出代码！
五、爬取话题
1.找到话题加载数据url
https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D61%26q%3D%2390%E5%90%8E%E5%8D%95%E8%BA%AB%E5%8E%9F%E5%9B%A0TOP3%23%26t%3D0&isnewpage=1&extparam=pos%3D41%26c_type%3D31%26realpos%3D40%26flag%3D0%26filter_type%3Drealtimehot%26cate%3D0%26display_time%3D1565179797&luicode=10000011&lfid=106003type%3D25%26t%3D3%26disable_hot%3D1%26filter_type%3Drealtimehot&page_type=searchall
2.代码模拟请求数据
我们依然使用requests库来爬取数据，这次猪哥在请求的时候增加了一个参数：timeout，这样做是为了防止请求某个一直没有应答导致堵死其他请求！
3.提取微博内容
要想提取微博内容就需要了解请求返回的数据格式
了解数据格式之后我们就可以写代码提取我们想要的微博内容啦！
上图我们已经拿到微博内容，但是还有很多网页标签，我们来用正则将网页标签去掉，和开头的话题开头！
4.保存文件
微博内容提取出来之后，我们将他们保存起来！
六、批量爬取
批量爬取就涉及分页，上次我们将周杰伦超话时，它的分页机制是：
微博超话分页机制：根据时间分页，每一条微博都有一个since_id，时间越大的since_id越大所以在请求时将since_id传入，则会加载对应话题下比此since_id小的微博，然后又重新获取最小since_id将最小since_id传入，依次请求，这样便实现分页
那这个话题的分页机制也是这样的吗？我们来对比一下第一次请求与第二次请求的url
我们发现普通话题的分页机制竟然是page的形式，看来微博对不同级别的话题有不同的分页机制！
page形式的分页机制，之前我们讲了很多个案例，直接for循环传入i，而这个i就当作page就可以啦！
七、数据分析
数据分析我们采用pyecharts库，这是一个非常好用的可视化分析库！
先读取数据，然后使用jieba库进行分词和数据清洗，最后使用pyecharts库做展示！
如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的！交流经验！自己是一名高级python开发工程师，从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地
之前调查结果显示单身的三大原因是：圈子小、工作忙、对爱情幻想过于完美。在我们数据分析得出的结果好像确实如此！