Cassandra技术介绍之配置

上一篇已经介绍过Cassandra数据库的编译以及安装,本篇开始介绍Cassandra数据库的配置文件里的基本配置项,这些基本配置项会影响数据库的启动,以及数据库的运行性能,这边会分基本配置调优配置进行分别介绍。

所有的配置都在cassandra的安装目录下面的conf里,conf目录下面有cassandra.yaml这个文件,所有的配置都可以通过修改这个文件而达到目的;

基本配置

比较关键的几个配置有:cluster name,partitioner,snitch,以及seed nodes的配置。如上图,我们知道一个cassandra的集群是由多个节点组成的,每一个节点可以一个物理机,虚拟机,或者是一个进程等等,由这些节点组成了cassandra的集群。那么这个集群中的各个节点的cassandra.yaml里的cluster name,partitoner,snitch都至少需要保持一致才可以,seed nodes 虽然不强制需要保持一致,但是建议最好是一致的,而且我们生产环境也是保持一致的。

配置项名字 配置项解释 默认值 建议值
cluster_name 集群的名字,在逻辑上隔离各个集群 Test Cluster 可以区别集群的唯一名称
num_tokens vnode的使用方式,集群中的这个配置节点将会被分配的token的数量,如果这个token数量越多,那么这个节点将会存储更多的数据,如果集群的各个节点的硬件配置一样,那么建议该配置token数量都一致。如果这个配置项没有被配置的话,cassandra将会给这个节点分配默认的1个token,token的值由initial_token的配置确定。 256(默认配置) 256
initial_token 非vnode使用方式,需要人工基于partitioner计算赋值,比如:如果是使用RandomPartitioner,那么就需要计算md5值,4个节点的话,每个节点的md5 token值,建议均分0-2^128 -1 这个区间
seed_provider seeds: 各个ip之间用,进行连接,seed 是可以选择集群中的某个或者某几个节点进行配置,所有的集群种的节点都会先和seed节点沟通,获取集群状态 需要基于集群ip做配置
partitioner partitioner的意思就是允许你的partition key以何种方式在集群种放置,放置到哪个节点,而方式的方式会结合上面的num_tokens或者initial_token的配置来查找;也就是集群配置了RandomPartitioner的放置策略,然后一条记录在集群中会以md5方式进行计算其归属的节点,然后到对应节点进行读写 org.apache.cassandra.dht.Murmur3Partitioner 见下表
endpoint_snitch snitch的作用是:让cassandra知道你的网络拓扑;让cassandra可以放置副本:把机器归类为datacenter以及rack SimpleSnitch 见下面表
listen_address 本节点需要绑定的ip,这里address和下面的interface只能选一个去设置 InetAddress.getLocalHost()函数获取的ip
listen_interface 网卡接口
native_transport_port cql绑定的端口 9042
rpc_address cql的服务绑定的ip 同listen_address
storage_port 内部节点间进行通信的端口,比如gossip协议 7000
ssl_storage_port 与上述端口只能存一个,如果是在公网环境下建议用这个端口 7001
数据存储相关
data_file_directories -存储数据的目录,如果是挂了多块磁盘的话,各个磁盘路径前加- ; cassandra_home的目录下默认建data目录 基于自己的挂盘情况设置
commitlog_directory Commit log的配置目录,也就是wal 的目录,如果是hdd盘,建议与data目录分开 cassandra_home下的data目录下的commitlog目录
disk_failure_policy data disk failure的策略,当data数据盘出现磁盘故障的时候,我们的cassandra应该怎么做 stop 见下表
commit_failure_policy 当commitlog数据盘出现磁盘故障的时候,我们的cassandra应该怎么做 stop 见下表

Partitioner

Partitioner名称 意义
org.apache.cassandra.dht.Murmur3Partitioner 使用murmur的hash算法进行值的计算具体算法含义可以自行谷歌
org.apache.cassandra.dht.RandomPartitioner 计算md5 的hash;Murmur3Partitioner比RandomPartitioner计算hash会快很多。
org.apache.cassandra.dht.ByteOrderedPartitioner 把key以原生的byte存储和下面的string 是大体一类,计算key性能比下面好一点点
org.apache.cassandra.dht.OrderPreservingPartitioner 所有的key的hash计算就是计算成一个UTF-8的字符串,但是这种方式只是可以提供较好的key排序操作。但是会造成一些key的倾斜,比如某些node的key存储量比别的node多;

endpoint_snitch

Snitch名称 意义
SimpleSnitch 没有机架感知的一种snitch,在多dc的环境下不适合部署,选择这种方式的话,那么副本策略:replication strategy 应该选择SimpleStrategy
GossipingPropertyFileSnitch yaml里面写的是建议在生产环境部署的,本节点的dc以及rack信息在cassandra-rackdc.properties配置,别的节点可以通过gossip获取得到该节点的dc rack信息,这是一种机架感知的snitch,这里是只需要配置自己的节点信息
PropertyFileSnitch 一种机架感知snitch之一,需要在cassandra-rackdc.properties配置上所有的ip对应的机架 dc等信息;如果不配置就是认为是默认的dc1,rac1,一般副本策略建议是NetworkTopology Strategy
RackInferringSnitch 认为使用这种snitch的都是在一直的网络环境中,主要是通过ip的二进制分组做比较,如果2个ip的第二个8bit的组的数字是一样的就认为是在一个dc下面,如果是第三个8bit组是一样的就认为是一个机架上。
Ec2MultiRegionSnitch 用于在公网环境下的多region下的snitch,这时候需要为公网环境下的端口开防火墙
Ec2Snitch 适用于aws的ec2的部署,在一个region下,region以及az的信息是通过ec2的api获取的,region被当做dc,az当做机架;

failure_policy

failure policy名称 disk_failure_policy意义 commit_failure_policy意义
die 当出现文件系统error或者单个sstable的error的实时,停止gossip交互client的请求以及kill jvm 停止节点进程,kill jvm
stop_paranoid 单个sstable出现error的时候,会停掉gossip交互,以及拒绝client请求;如果是启动的时候,会kill jvm 无此配置
stop 如果出现fs问题的时候会停掉gossip交互以及拒绝client请求,但是节点可以接收jmx的观测;启动的时候出现error则会kill jvm 停掉节点,但是节点可以接收jmx的观测
best_effort 暂停使用出现问题的磁盘,且尽可能的返回数据给用户,这就表明可能会出现造成读到过期数据,比如使用ONE这个一致性的时候 无此配置
ignore 忽略文件系统或者磁盘故障,让请求失败 忽略error,让comit 失败
stop_commit 让commit log操作失败,但是依旧提供读

注意

  • 如果num_tokens不配置,而选择initial_token的话,需要手工的基于partitioner的规则去计算各个节点的inital_token值,这样的好处是可以人工控制各个节点的管理token范围,但是集群的各个节点建议均分所有的token存储范围,且扩容的时候建议成倍的扩容;num_tokens的好处是不需要手工计算和配置,缺点是每个token是随机计算的,实际上各个节点负责的这些token以及对应范围是不可控;
  • 上面说了snitch 应该配合副本放置策略进行配合,这个放置规则主要是在建keyspace的时候设置的,这里我们简单的介绍写副本放置策略,也就是一个表他在集群中如果设置了多副本,比如3副本的话,这3个副本应该是怎么样的放置规则呢?在建表的时候比如如下语句

    CREATE KEYSPACE test_keyspace WITH replication =
          {'class': 'SimpleStrategy',
           'replication_factor': '3'}

class可以有SimpleStrategy和NetworkTopologyStrategy,其中SimpleStrategy意思是:test_keyspace的副本的放置是在一个dc内部,摆放的规则是简单策略,一般是按照node的ip adress的顺序摆放;NetworkTopologyStrategy:副本会穿过多个dc进行摆放,详细的规则后续会介绍;

  • Replication Factor:这是上面一条提到的副本因子,主要是表示副本数,也是在建表的时候会设置;

下一篇会介绍一些其他的配置,主要是和性能调优cassandra数据库相关的;比如cache的配置等;完事以后会介绍如果建表以及使用datastax的java-driver访问数据以及对应的数据模型;等等

欢迎加入我们的微信群:
Cassandra技术介绍之配置

钉钉群:
Cassandra技术介绍之配置

上一篇:系统错误导致文件丢失如何恢复图文教程


下一篇:教您救回中毒U盘导致丢失的文件