2021-04-23

Hive的安装和使用
    我们的版本约定:
    JAVA_HOME=/usr/local/soft/jdk1.8.0_171
    HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
    HIVE_HOME=/usr/local/soft/hive-1.2.1
    
一、离线安装MySQL
1、查看mysql的依赖
    rpm -qa | grep mysql
2、删除mysql的依赖
    rpm -e --nodeps `rpm -qa | grep mysql`或者
    rpm -e --nodeps `rpm -qa | grep MySQL`
3、离线安装mysql
    安装mysql-server:
        rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpm

 

2021-04-23

安装mysql-client:
        rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm

4、启动mysql服务(一般安装MySQL-server时,会自动启动MySQL,故可跳过第四步,如果启动了,再执行如下命令,则会报错!!!)

    service mysql start

5、加入到开机启动项
    chkconfig mysql on
6、初始化配置mysql服务(第一次直接回车,后面跟着提示设置密码,自己设置密码)
# 通常情况下可以直接执行mysql_secure_installation命令(该命令已在环境变量中)
# 若执行mysql_secure_installation命令时提示找不到,则查找mysql初始化脚本位置
whereis mysql_secure_installation
# 再根据找到的路径执行,通常该命令如下:
/usr/bin/mysql_secure_installation
                        
如果在/usr/bin/mysql_secure_installation 一直是下面报错后

解决办法:
ps aux | grep mysql 然后KILLmysql相关全部进程 Pid是进程号 kill -9 pid1 pid2 …
比如 kill -9 8301 8302 然后再从第4步重新操作。

 


7、访问mysql服务并修改权限
7.1 登录mysql:(密码请指定mysql_secure_installation初始化脚本执行时自己设定的密码,这里是123456,注意-p后面没有空格)
    mysql -uroot -p123456

7.2 切换数据库:
use mysql;

7.3  查看用户权限表:
select user,host from user;

7.4 将root用户允许登录的host设为’%’(表示在任意IP地址都可以使用root用户登录mysql,否则只能在localhost登录)
update user set host = '%' where user = 'root'; (提示报错不用管,忽略)

7.5 刷新权限,让配置生效:
flush privileges

8、修改mysql编码为UTF-8
  8.1 编辑配置文件
    vim /etc/my.cnf
  8.2 加入以下内容:
[client]
default-character-set = utf8
[mysqld]
character-set-server = utf8
collation-server = utf8_general_ci
    8.3 重启mysql
        service mysql restart
    8.4 登录mysql
        mysql -uroot -p123456
    8.5 查看mysql当前字符集
        show variables like '%char%';

2021-04-23


    
    8.6 创建hive元数据库
        create database hive character set "latin1";

二、安装Hive
前提是:mysql和hadoop必须已经成功启动了
1、解压hive的安装包:
    tar -zxvf apache-hive-1.2.1-bin.tar.gz
修改目录名称:
mv apache-hive-1.2.1-bin hive-1.2.1

2、进入hive-1.2.1/conf目录,复制备份文件并重命名
    cp hive-env.sh.template hive-env.sh
    cp hive-default.xml.template hive-site.xml

3、配置hive的配置文件(hive的配置文件比较大,在linux中查找某项配置比较难,可以先将hive-site.xml文件复制到windows用文本编辑打开,然后ctrl+f查关键字修改,修改之后再放回到hive 的conf目录)
3.1修改hive-env.sh
加入三行内容(大家根据自己的目录和实际情况来添加)
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HIVE_HOME=/usr/local/soft/hive-1.2.1

2021-04-23


3.2修改hive-site.xml  

                <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                    <value>jdbc:mysql://master:3306/hive</value>
                </property>
                <property>
                    <name>javax.jdo.option.ConnectionDriverName</name>
                    <value>com.mysql.jdbc.Driver</value>
                </property>
                <property>
                    <name>javax.jdo.option.ConnectionUserName</name>
                    <value>root</value>
                </property>
                <property>
                    <name>javax.jdo.option.ConnectionPassword</name>
                    <value>root</value>
                </property>
                <property>
                    <name>hive.querylog.location</name>
                    <value>/usr/local/soft/hive-1.2.1/tmp</value>
                </property>
                <property>
                    <name>hive.exec.local.scratchdir</name>
                    <value>/usr/local/soft/hive-1.2.1/tmp</value>
                </property>
                <property>
                    <name>hive.downloaded.resources.dir</name>
                    <value>/usr/local/soft/hive-1.2.1/tmp</value>
                </property>
3.4拷贝mysql驱动到$HIVE_HOME/lib目录下
             cp /usr/local/soft/mysql-connector-java-5.1.49.jar ../lib/
3.5将hive的jline-2.12.jar拷贝到hadoop对应目录下,hive的 jline-2.12.jar 位置在 :
/usr/local/soft/hive-1.2.1/lib/jline-2.12.jar
将hive的jar拷过去hadoop下:
cp /usr/local/soft/hive-1.2.1/lib/jline-2.12.jar /usr/local/soft/hadoop-2.7.6/share/hadoop/yarn/lib/

3.6配置环境变量,加上HIVE_HOME
    修改/etc/profile
    vim /etc/profile

2021-04-23

重新加载环境变量
    source /etc/profile

3.7启动hive:
    hive

3.8 修改mysql元数据库hive,让其hive支持utf-8编码以支持中文
登录mysql:
mysql -u root -p123456
切换到hive数据库:
use hive;

1).修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
 
2).修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
 
3).修改分区表参数,以支持分区键能够用中文表示
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
 
4).修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

三、测试hive
1、启动hive
2、在hive中创建test1数据库
    create database test1;
3、切换test1数据库:
    use test1;
4、创建students表:
create table students(
    id bigint comment '学生id',
    name string comment '学生姓名',
    age int comment '学生年龄',
    gender string comment '学生性别',
    clazz string comment '学生班级'
) comment '学生信息表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
5、创建score表:
create table score(
    id bigint comment '学生id',
    score_id bigint  comment '科目id',
    score int comment '学生成绩'
) comment '学生成绩表'  
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';  

6、查看表信息:
desc students;
desc score;

但此时测试时出现问题,中文注释乱码。原因是数据库那边还需要用utf8编码连接,进行如下操作即可解决:

2021-04-23

2021-04-23

增加黑色字段即可解决乱码问题

上一篇:hive安装与配置


下一篇:在一台机上搭建zookeeper集群(3节点)