[HBase Manual] CH2 Getting Started

Getting Started

Getting Started. 1

1. Introduction. 1

2.Quick Start-Strandalone HBase. 1

2.1 JDK版本选择... 1

2.2 Get Started With HBase. 1

2.3 伪分布式本地安装... 1

2.4 高级——完全分布式... 1

1. Introduction

QuickStart会介绍如何安装和运行一个单节点,standalone Hbase实例

2.Quick Start-Strandalone HBase

这节介绍了single-node standalone HBase的安装。Standalone实例有所有的HBase守护运行在一个JVM。也会演示如何使用hbase shell来创建表,插入数据,执行put和scan操作,enable,disable表,关闭和启动HBase。

2.1 JDK版本选择

HBase需要JDK,可以查看需要的JDK版本: Java

2.2 Get Started With HBase

过程:下载,配置和以standalone mode启动HBase

1.选择一个Mirror并且下载

2.解压下载文件,然后cd到目录。

3.设置JAVA_HOME环境变量。可以用传统的方式设置,也可以使用conf/hbase-env.sh集中管理。编辑这个文件,去掉JAVA_HOME的注释,并且设置正确的路径。JAVA_HOME变量要被设置到包含执行文件bin/java的目录。很多最新的Linux操作系统提供一个机制比如/usr/bin/alternatives,用来切换java版本的执行文件。在这个例子中,你可以设置JAVA_HOME到包含link的目录,比如/usr。
                JAVA_HOME=/usr

4.编辑conf/hbase-site.xml,hbase的配置文件。这个时候需要指定一些本地路径。用来HBase的数据写入和Zookeeper数据写入。默认新的目录创建在/tmp下。很多服务器会在重启后会把/tmp的目录清空。所以需要把数据放在其他地方。下面的配置HBase的数据目录被配置在testuser的home目录下面。

Standalone Hbase配置例子:

<configuration>

<property>

<name>hbase.rootdir</name>

<value>file:///home/testuser/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/testuser/zookeeper</value>

</property>

<property>

<name>hbase.unsafe.stream.capability.enforce</name>

<value>false</value>

<description>

Controls whether HBase will check for stream capabilities (hflush/hsync).

Disable this if you intend to run on LocalFileSystem, denoted by a rootdir

with the 'file://' scheme, but be mindful of the NOTE below.

WARNING: Setting this to false blinds you to potential data loss and

inconsistent system state in the event of process and/or node
failures. If

HBase is complaining of an inability to use hsync or hflush it's most

likely not a false positive.

</description>

</property>

</configuration>

不需要创建HBase的目录,HBase会自己创建。如果创建了目录HBase会进行合并。

如果已经存在的HDFS已经有了HBase的home,设置hbase.rootdir指向hdfs实例,比如:hdfs://namenode.example.org:8020/hbase。

1.bin/start-hbase.sh脚本是快速启动hbase的方法。如果启动正常成功启动的信息就会被输出。可以使用jps查看HMaster是否启动。在standalone Hbase守护进程都运行在一个jvm上。即 HMaster,一个HregionServer,Zookeeper守护进程。可以到http://localhost:16010查看HBase Web UI。

过程:第一次使用HBase

1.连接到Hbase

使用bhase shell连接到hbase实例。

$ ./bin/hbase shell
hbase(main):001:0>

2.输出hbase shell帮助

在命令行上输入help回车,会显示hbase shell的帮助。

3.创建表

使用 create命令创建新表

hbase(main):001:0> create 'test', 'cf'
0 row(s) in 0.4170 seconds
 
=> Hbase::Table - test

4.输出表的信息

使用list命令确认已经存在的表

hbase(main):002:0> list 'test'
TABLE
test
1 row(s) in 0.0180 seconds
 
=> ["test"]

使用describe查看表的详细信息

hbase(main):003:0> describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>
'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f
alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE
 => '65536'}
1 row(s)
Took 0.9998 seconds

5.put数据到表

使用put命令插入数据。

hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds
 
hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds
 
hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds

这里插入了3个值,在row1中插入,列cf:a,值value1。Hbase中的列由列簇比如 cf,冒号,后缀组成。

6.扫描表的所有数据

获取hbase表的数据的方法就是scan。使用scan命令扫描表中的数据。可以过滤。

hbase(main):006:0> scan 'test'
ROW                                      COLUMN+CELL
 row1                                    column=cf:a, timestamp=1421762485768, value=value1
 row2                                    column=cf:b, timestamp=1421762491785, value=value2
 row3                                    column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds

7.获取一个行的数据

hbase(main):007:0> get 'test', 'row1'
COLUMN                                   CELL
 cf:a                                    timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds

8.disable表

如果想要删除表或者修改表的设置,在其他情况下需要先disable表,使用disable命令。如果要重新enable使用enable命令。

hbase(main):008:0> disable 'test'
0 row(s) in 1.1820 seconds
 
hbase(main):009:0> enable 'test'
0 row(s) in 0.1770 seconds

9.删除表

使用drop来删除表

hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds

10.退出hbase shell

使用quit命令退出hbase shell,hbase的服务任然是运行的。

过程:关闭Hbase

1.和bin/start-hbase.sh一样,使用bin/start-hbase.sh来关闭

$ ./bin/stop-hbase.sh
stopping hbase....................
$

2.执行命令后,过几分钟就会被关闭,可以使用jps查看,保证HMaster和HregionServer进程被关闭。

2.3 伪分布式本地安装

已经安装了standalone版本之后,可以重现配置成伪分布式,伪分布式还是在一个host下运行,但是hbase的守护进程是独立的进程而不是在一个jvm下。默认的rootdir还是在/tmp下。也可以跳过直接存在本地文件系统下。

1.关闭已经在运行的hbase

2.配置hbase
编辑hbase-site.xml配置,首选设置hbase.cluster.distributed=true

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>

然后修改hbase.rootdir从本地文件系统指向HDFS,使用hdfs:////比如hdfs的端口是8020.

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:8020/hbase</value>
</property>

不需要在hdfs创建好目录,hbase会创建。如果已经创建了目录,那么就会合并。

3.启动hbase
使用bin/start-hbase.sh命令启动hbase。如果系统配置的正确那么jos命令会输出HMaster和HRegionServer的进程。

4.检查hbase在hdfs上的目录
如果运行没有问题,hbase会在hdfs创建目录。按上面的配置会保存在/hbase下。可以使用hadoop fs命令查看。

$ ./bin/hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/.tmp
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/WALs
drwxr-xr-x   - hbase users          0 2014-06-25 18:48 /hbase/corrupt
drwxr-xr-x   - hbase users          0 2014-06-25 18:58 /hbase/data
-rw-r--r--   3 hbase users         42 2014-06-25 18:41 /hbase/hbase.id
-rw-r--r--   3 hbase users          7 2014-06-25 18:41 /hbase/hbase.version
drwxr-xr-x   - hbase users          0 2014-06-25 21:49 /hbase/oldWALs

5.创建一个表并且导入数据
可以使用hbase shell创建一个表,并且导入数据,然后从表里面读取数据, shell exercises

6.启动和关闭HBase的备份。
HMaster服务控制了hbase的集群。可以启动9个HMaster备份服务,会有一个10个HMaster,包括primary。使用local-master-backup.sh来备份HMaster。对于每个备份的master,想要启动,需要分配端口。每个HMaster有2个端口(默认是16000和16010)。Offset是2,所以备份要使用16002和16012.如果启动3个服务那么会使用16002/16012,16003/16013和16005/16015。

$ ./bin/local-master-backup.sh start 2 3 5

为了kill backup master然不kill整个集群,就需要找到它的PID,然后用kill -9命令去kill。PID保存在/tmp/hbase-USER-X-master.pid。以下命令是kill offset为1的。

$ cat /tmp/hbase-testuser-1-master.pid |xargs kill -9

7.启动和关闭额外的RegionServers
HRegionServer管理存储文件中的数据。存储文件由HMaster管理。通常每个node运行一个HRegionServer。一个系统上运行多个HRegionServer用来测试伪分布式模式。Local-regionservers.sh命令用来运行多个Regionservers。和local-master-backup.sh运行方式类似。每个参数提供了一个端口偏移值。每个RegionServer需要2个端口默认是16020,16030。因为HBase
1.1.0 之前HMaster不使用region server使用端口,保留了10个端口16020到16029,16030到16039用来给RegionServers使用。在运行local-regionservers.sh之前需要设置环境变量HBASE_RS_BASE_PORT 和HBASE_RS_INFO_BASE_PORT,比如16200和16300,那么就可以支持99个额外的RegionServers。以下命令是启动4个额外的RegionServer,从16022/16032开始启动(在base port上增加2)。

$ .bin/local-regionservers.sh start 2 3 4 5

位了手动关闭RegionServer,使用local-regionserver.sh来关闭。

$ .bin/local-regionservers.sh stop 3

8.关闭HBase
使用bin/stop-hbase.sh来关闭hbase。

2.4 高级——完全分布式

实际情况下,需要一个完全的分布式配置在实际的场景下,来测试hbase。在分布式配置中,cluster包含很多个节点,每个节点可能运行hbase的一个或多个守护。包括主的和备份的Master实例,多个Zookeeper节点和多个RegionServer节点。

Node
Name

Master

ZooKeeper

RegionServer

node-a.example.com

yes

yes

no

node-b.example.com

backup

yes

yes

node-c.example.com

no

yes

yes

过程:配置无密码SSH访问

过程:准备node-a

在node-a上会运行primary master和Zookeeper进程,没有RegionServer。根据之前的关闭node-a上的RegionServer。

1.编辑conf/regionserver,删除localhost。增加node-b和node-c的ip地址或者主机名

如果还是想要在node-a上运行RegionServer,也使用node-a的主机名。

2.配置hbase使用node-b作为backup master。

创建一个文件在conf下叫backup-masters,并且增加node-b的hostname。

3.配置Zookeeper

在真是环境下Zookeeper配置很多。Zookeeper配置可以看 zookeeper 这个配置可以让hbase在每个集群的node上,启动和管理Zookeeper实例。

在node-a编辑conf/hbase-site.xml增加以下配置:

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node-a.example.com,node-b.example.com,node-c.example.com</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>

4.在所有的配置中,使用node-a的主机名来替换localhost。

过程:准备node-b,node-c

Node-b会运行一个backup master和Zookeeper实例

1.下载并解压hbase

2.把node-a的配置文件复制到node-b,node-c

每个集群中的node都有一样的配置信息。

过程:启动和测试集群

1.保证hbase没有在任何节点上运行。

如果忘记停止hbase,那么就会报错。使用jps检查是否还在运行主要看HMaster,HregionServer,HQuorumPeer进程。如果存在就先kill。

2.启动集群

在node-a上,运行start-hbase.sh命令。Zookeeper会先启动然后是master,然后是RegionServer最后是backup master。

3.验证

在每个node 上运行jps,查看进程是否运行。

Node-a上输出

$ jps
20355 Jps
20071 HQuorumPeer
20137 HMaster

Node-b上

$ jps
15930 HRegionServer
16194 Jps
15838 HQuorumPeer
16010 HMaster

Node-c上

$ jps
13901 Jps
13639 HQuorumPeer
13737 HRegionServer

Zookeeper进程名

HQourumPeer是Zookeeper的实例有HBase控制。如果使用这种方式的Zookeeper每个集群node都会有一个节点。如果Zookeeper在hbase之外的。可以使用QuorumPeer。更多的Zookeeper可以看zookeeper 

4.使用Web UI访问

在hbase 0.98之后,http端口从master端口60010,RegionServer 60030修改到了16010和16030。

如果启动正常,就可以通过Web访问Master

5.测试服务消失会发生什么

当上面3节点的集群配置完毕,还要看如果primary master或者RegionServer被kill之后会发生什么。

上一篇:[NOIP2016]换教室(概率期望$DP$


下一篇:oracle (+) 什么意思