开发者学堂课程【大数据实时计算框架 Spark 快速入门:J S O N数据库、J D B C数据库、Standalone 集群测试4】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1713
J S O N 数据库、J D B C 数据库、Standalone 集群测试4
内容介绍:
一、数据库
二、传送
一、数据库
结果出来后会直接存到数据库,所以 maska 数据库里面会多两个数据,报fillnotfoundexception 显示找不到 sparksql 这个炸包,显示在另外两台机器里面没有上传, class 模式另外两台机器也有,是 driver 在其他机器里面。炸包在dfs.sh上面启动一下,将 fs _put sparksq120161202.jar 放到 jar 里面去,然后就会显示出来一个 class 文件,再将代码弄出来,写一个 hdfs://node21:8020/ 下面写一个炸包,然后回车,在这边发现跳出去了,跳出去之后另一边页面跳出程序,另一边则有 running application和running dricers 程序,然后下面的completed applications 则是跑的,
下面的 completed 有一个 error 因为没有跑成功,正在跑的 driver 是我们现在正在运行的, 重新刷检验自己是否跑完全,结果从 drive 里面看,结果在standout 里面,只有用 class 模式, driver 才会上页面,开始启动 yarn,
然后 start resourcemanger. 切炸包上传到 jar 里面去可以。
二、传送
我们可以直接用这个地址, class 也不用动,——deploy—mode client .
将——yarn_master 改为——yarn—client,用 yarn 来跑会自己上传炸包,那么可以在页面里面看到结果,yarn 模式会自己上传,跑完之后在数据库会多两条。