集群共三台主机,两个数据节点,hbase共有两个regionserver
1)存在的问题 8月6日晚九点半,测试集群两个regionserver同时异常,hbase除了list以外的操作都不能执行,观察master和regionserver的日志,都出现了如下报错: (2)分析过程 从日志中暂时未分析出具体原因,决定先重启,重启后,hbase恢复正常,hbck状态一致。 过了大概一个小时,hbase又挂了1个regionserver,hbase又无法操作,日志内容报错还是一样的。 怀疑是zookeeper或者hdfs有问题,均排查无误,整个集群全部重启,hbase还是正常了一个小时后就异常,随后查看监控页面,发现hbase的region数达到一万二,每个regionserver承担6000个region,怀疑是region数过多导致hbase异常。 (3)解决办法 对数据进行清理,重启hbase后,恢复正常 (4)原因总结 由于业务测试时直接拿生产的建表语句建表,生产建表语句均做了region预划分,每张表有很多region,而实际上数据量却很小,将业务不用的表、过期的表全部清理,将region总数降到1000后,重启hbase,恢复正常相关文章
- 10-16Windows和Linux环境,网络异常模拟测试方法【转载自光荣之路微信公众号】
- 10-16kubeadm部署的测试环境k8s集群更改matser节点的名字
- 10-16性能测试之redis集群监控环境搭建:prometheus + redis_exporter + grafana
- 10-16kubeadm部署的测试环境k8s集群更改matser节点的名字
- 10-16测试环境hbase集群异常
- 10-16Kubeadm部署K8S(kubernetes)集群(测试、学习环境)-单主双从
- 10-16阿里云HBase推出普惠性高可用服务,独家支持用户的自建、混合云环境集群
- 10-16【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
- 10-16【运维技术】kafka三实例集群环境搭建及测试使用
- 10-16分布式实时日志系统(四) 环境搭建之centos 6.4下hbase 1.0.1 分布式集群搭建