目录

• • 推荐环境
  • 系统和软件安装
  • • 安装Ubuntu
    • • 分辨率问题
      • 虚拟机桥接模式连不上网
    • Hadoop安装
    • • Ubuntu16.04下用aria2下载百度网盘大文件
      • 其他在安装hadoop时遇到的问题
    • Spark、 Kafka、python依赖包、pycharm安装

现阶段在学习大数据处理相关的项目，先通过厦门大学林子雨老师的案例教程学习Spark+Kafka构建实时分析Dashboard案例学习Kafka和Spark的处理， 地址：http://dblab.xmu.edu.cn/post/8274/

通过博客记录一下学习过程中遇到的各种问题，由于在一个小任务下可能有很多问题，因此记录的顺序是按照完成案例任务的顺序来写的。

推荐环境

• Ubuntu: 16.04
• Spark: 2.1.0
• Scala: 2.11.8
• kafka: 0.8.2.2
• Python: 3.x(3.0以上版本)
• Flask: 0.12.1
• Flask-SocketIO: 2.8.6
• kafka-python： 1.3.3

系统和软件安装

安装Ubuntu

分辨率问题

为了完全匹配案例的环境，重新下载了Ubuntu16.04，因此所有环境都得重装一遍。已有的分辨率并不能完全符合我的电脑，于是自定义分辨率1920*1080，参考博客设置好并成功开机生效。
其它问题参考如下：
出现Error of failed request: BadName (named color or font does not exist
安装好增强之后分辨率无法自动调整
安装增强时出错，未能加载虚拟光驱 VBoxsGuestAdditions.iso到虚拟电脑

虚拟机桥接模式连不上网

此时再次出现了老问题，虚拟机桥接模式连不上网了…基本处理思路就是要设置把虚拟机上面的网关、DNS、掩码、都要和实际主机一致，虚拟机的IP要和主机在同一网段，参考博客，其中注意如果连的是WiFi，主机的IP地址是看WLAN后的地址。

也可以对照一下virtualbox网络设置里桥接网络选择的界面名称，和主机wlan的名称是否是一样的，当然在我这里wireless已经说明了一切…

win10查看DNS，只需要1）在右下角网络图标右键打开网络和Internet设置 2）在状态里查看硬件和连接属性 3）查看所需网络（此时是wlan）的dns。

设置好后通过sudo service networking restart重启网络。

Hadoop安装

由于想让Spark和Hadoop一起安装使用，因此在安装Spark前先按照教程安装Hadoop。

Ubuntu16.04下用aria2下载百度网盘大文件

林子雨老师给了Hadoop网盘链接，而我为了偷懒也懒得从官网下了，但是试了几次后发现，似乎网页版百度网盘里的大文件必须通过客户端下载。

根据提示下载好百度网盘linux版本deb格式的安装包后，通过sudo dpkg -i <package.deb>安装Debian软件包，然而下载完成后，不管点几次百度云的图标，它都没有除了消失以外的任何反应！查了一下，估计是因为Ubuntu 16.04版本太低不支持百度网盘，从18.04之后应该就能用了。但为了和要求的环境一模一样（防止安装过程中出现意料之外的问题… ），需要一个能在16.04上下载百度网盘大文件的方法，这里使用了aria2+网盘直链

（只考虑传输文件可以直接用FTP软件向Ubuntu系统上传文件，详情参考林子雨老师教程，桥接模式保证主机向虚拟机能ping通，如果用户名啥的都正确，能ping通但依然连不上，可能是没安装ssh，安装ssh。）

aria2最简单的配置下载过程参考
https://blog.csdn.net/kudou1994/article/details/87648558
https://blog.csdn.net/wudi1107/article/details/80728891

配置过程中，vi打开文件后按方向键出现ABCD，通过卸载原有的vim-common组件sudo apt-get remove vim-common，安装新的vimsudo apt-get install vim解决了问题。

网上找到的大部分教程直链里都用的是baiduexporter，但是现在这个插件在官方商店已经没有了，作者GitHub还能下载https://github.com/acgotaku/BaiduExporter/releases，但是我太蠢了最后也没弄好，可用的话可参考作者博客https://blog.icehoney.me/posts/2015-01-31-aria2-download/配合使用。

如果不能用的话，有几个试过当前还可用的工具。油小猴网盘直链下载助手，可用在包括谷歌、火狐、360等主流浏览器下，且给出了详细的在各个系统下，使用各种下载工具的详细使用教程，可直接参考这个完成下载；在找可用直链的时候还看到一个刚更新的直链下载助手，只限Chrome，亲测可用。

附上其他参考过的aria2+网盘直链配置使用方法，可能这些组合起来就能解决你的某个问题：
aria2+Chrome插件baiduexporter
Ubuntu16.04+Tampermonkey+uget+aria2+baiduexporter
ubuntu18.04 Aria2的安装及使用问题详解
简单明了的aria2+baiduexporter安装使用
简单的Ubuntu16.04aria2下载百度云大文件

其他在安装hadoop时遇到的问题

• 在apt-get时

1）E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用) ，参考以下博客和评论
https://blog.csdn.net/jdy_lyy/article/details/90453856

2）sudo apt-get update时，大部分包都忽略了。参考https://www.jianshu.com/p/e0c45265a2ff
换源时出现“下载软件仓库信息失败，检查您的网络连接”，参考了以下，第二个解决的是“细节”里的报错，不知道哪个起作用了。
https://blog.csdn.net/nanhuaibeian/article/details/86330330
https://blog.csdn.net/u012798683/article/details/102596829

Spark、 Kafka、python依赖包、pycharm安装

没遇到问题