Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。
安装mysql
http://www.centoscn.com/mysql/2016/0315/6844.html
1)安装依赖
yum search libaio # 检索相关信息
yum install libaio # 安装依赖包
2)检查 MySQL 是否已安装
yum list installed | grep mysql
如果有,就先全部卸载,命令如下:
yum -y remove mysql-libs.x86_64
3)下载 MySQL Yum Repository(yum仓库)
地址为 http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
执行下载
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
如果提示-bash: wget: 未找到命令,请先执行 yum install wget 安装 wget
安装
4)如果没有wget下载对应的安装包
wget --->yum -y install wget
5)添加 MySQL Yum Repository
添加 MySQL Yum Repository 到你的系统 repository 列表中,执行
yum localinstall mysql-community-release-el7-5.noarch.rpm
6)验证下是否添加成功
yum repolist enabled | grep "mysql.*-community.*"
7)开始yum安装mysql
yum install mysql-community-server
8)开启
systemctl start mysqld
systemctl status mysqld 查看状态
9)验证 mysql
10)创建hive需要的数据库
在mysql上创建hive元数据库,并对hive进行授权
create database if not exists hive_metadata;
安装hive
1.上传安装包
apache-hive-2.1.0-bin
不同的版本有可能会安装失败,建议使用低版本,并且是稳定版的软件
2.解压
tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft/
3.重命名或者创建软连接
ln -s apache-hive-2.1.0-bin hive
4.修改环境变量
sudo nano /etc/profile
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin
5.环境变量起效果
source /etc/profile
修改配置文件
拷贝驱动mysql-connector-java-5.1.28.jar到 /soft/hive/lib
配置hive-site.xml
mv hive-default.xml.template hive-site.xml
vi hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.17.200:3306/hive_metadata?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
配置hive-env.sh和hive-config.sh
mv hive-env.sh.template hive-env.sh
vi /soft/hive/bin/hive-config.sh
export JAVA_HOME=/soft/jdk
export HIVE_HOME=/soft/hive
export HADOOP_HOME=/soft/hadoop
在hive-site.xml
${system:java.io.tmpdir}=/home/wang/hive/wang
${system:user.name}=wang
"system:java.io.tmpdir =/home/centos/hive/resource
创建数据库表到mysql里面
schematool -initSchema -dbType mysql
验证hive是否安装成功
直接输入hive命令,可以进入hive命令行
create table t1(id int)
select * from t1;
drop table t1;