实现说明每一个用户的环境都有细微的不一致,所以这里只是个人经过这些坑的处理,但是不意味着所有处理都是这样的操作,仅作为参考。
第一个坑
数据库安装,数据库最好装在Linux上,一直出了很多错,这里有一个博客可以很好安装,地址:https://www.cnblogs.com/julyme/p/5969626.html
博客描述的是使用yum源的方式下载MySQL安装,不需要特别多的配置,一路next就可以安装完成,注意默认没有密码
第二个坑
The reported blocks 0 needs additional 42 blocks to reach the threshold 0.9990 of total blocks 42.
Hadoop启动的时候进入安全模式,为了检查数据是否完整,这个时候无法向HDFS中写入数据,所以hive启动报错,重新启动下Hadoop就可以了
第三个坑
hive> show databases;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
hive> create database test_db;
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
在使用显示数据库或者创建数据库的时候,报错,首先使用
./hive -hiveconf hive.root.logger=DEBUG,console
查看详细的日志信息,根据日志信息处理,我的主要错误是没有放数据库驱动jar包,由于HIVE元数据需要放到MySQL数据库里面,所以需要存放连接数据库的驱动jar包