想要分析的时候,没有数据,就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜,最终还找不到自己想要的数据。通过编程爬虫数据,学习成本又太高,毕竟你的目标不是想要成为爬虫工程师,只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢?
下面介绍4种获取数据的方法,选择一种适合你自己的方法就可以。
方法一:直接获取10大行业免费数据
1)如何选择行业?
不知道如何选择行业的,可以在下面网站里看到各个行业的分析报告:
如何选择入职行业 :https://www.zhihu.com/question/24995484/answer/516813008
艾瑞研究-艾瑞网(行业报告):http://report.iresearch.cn
Talkingdata报告(行业报告):http://mi.talkingdata.com
199IT互联网数据中心(行业报告,内容多,支持搜索):http://www.199it.com
2)10大行业免费数据汇总
【优点】直接拿来使用
【缺点】数据有限
根据你确定的行业,选择一个自己感兴趣的数据。比如你确定了电商行业,然后就找一个电商行业的数据。
在《数据分析思维》中汇聚了10多个行业的数据以及分析案例
更多行业数据:
10大行业公开数据免费下载:电商零售行业
10大行业公开数据免费下载:金融行业
10大行业公开数据免费下载:游戏行业
10大行业公开数据免费下载:教育行业
10大行业公开数据免费下载:旅游行业
10大行业公开数据免费下载:文化娱乐行业(电影,音乐等)
10大行业公开数据免费下载:医疗行业
10大行业公开数据免费下载:汽车及出行
10大行业公开数据免费下载:房产行业
10大行业公开数据免费下载:自媒体等行业
方法二:从数据平台获取
1.国内中文平台:
1)阿里云天池,官网网址:https://tianchi.aliyun.com/dataset/
数据下载办法:
2)DataFountain,官网地址:https://www.datafountain.cn/dataSets
有的文件下载后会显示后缀是.zip, .zip是个压缩包,下载后需要减压后才能看到压缩包里的excel文件
2.国外英文平台
Kaggle,官网地址和如何下载数据:如何在Kaggle上查找数据
方法三:傻瓜式爬虫工具(不需要编程)
【优点】在网站上爬取你感兴趣领域网站的数据,可以获取到自己想要的领域数据
【缺点】需要看官网教程来学习,有一定门槛
1)工具: 后羿,同时有mac,windows版本
打开官网后点击下图“教程”的地方有入门教程。
2)工具:集搜客,只有windows版本
操作指南只需要看下面红框中的内容就可以,操作指南地址:
https://www.gooseeker.com/tuto/tuto
爬取多少数据?
数据量少一般说明不了什么问题,起码的超过几万条数据。
多尝试、思维逻辑要清晰,一定要知道自己做什么,爬取什么样的数据,提前规划好了,整个过程就不会走太多的弯路。
案例:https://zhuanlan.zhihu.com/p/39733403
欢迎留言补充更多行业数据。
上面提到3种获取数据的方法,选择一种适合你自己方法。获取数据后分析,可以使用这个里面的方法来分析: