open-falcon之graph

功能

  • 存储agent push的数据

  • 为query 提供查询数据接口

参考RRDtool的理念,在数据每次存入的时候,会自动进行采样、归档。在默认的归档策略,一分钟push一次的频率下,

历史数据保存5年。同时为了不丢失信息量,数据归档的时候,会按照平均值采样、最大值采样、最小值采样存三份。

用户在查询某个metric,在过去一年的历史数据时,Graph会选择最合适的采样频率,返回采样过后的数据,提高了数据查询速度。

配置文件



{

    "debug": false, //true or false, 是否开启debug日志

    "http": {

        "enabled": true, //true or false, 表示是否开启该http端口,该端口为控制端口,主要用来对graph发送控制命令、统计命令、debug命令

        "listen": "0.0.0.0:6071" //表示监听的http端口

    },

    "rpc": {

        "enabled": true, //true or false, 表示是否开启该rpc端口,该端口为数据接收端口

        "listen": "0.0.0.0:6070" //表示监听的rpc端口

    },

    "rrd": {

        "storage": "/home/work/data/6070" //绝对路径,历史数据的文件存储路径(如有必要,请修改为合适的路)

    },

    "db": {

        "dsn": "root:@tcp(127.0.0.1:3306)/graph?loc=Local&parseTime=true", //MySQL的连接信息,默认用户名是root,密码为空,host为127.0.0.1,database为graph(如有必要,请修改)

        "maxIdle": 4  //MySQL连接池配置,连接池允许的最大连接数,保持默认即可

    },

    "callTimeout": 5000,  //RPC调用超时时间,单位ms

    "migrate": {  //扩容graph时历史数据自动迁移

        "enabled": false,  //true or false, 表示graph是否处于数据迁移状态

        "concurrency": 2, //数据迁移时的并发连接数,建议保持默认

        "replicas": 500, //这是一致性hash算法需要的节点副本数量,建议不要变更,保持默认即可(必须和transfer的配置中保持一致)

        "cluster": { //未扩容前老的graph实例列表

            "graph-00" : "127.0.0.1:6070"

        }

    }

}

默认端口

  • http:6071 提供graph本身的管理功能API

  • rpc:6070 用于接收transfer push 的分片数据和为query提供查询接口

存储过程

  • 接收数据

    接收到transfer push的数据之后,按rrd数据库解析数据,计算出UUID和MD5,计算方式为:

    * item.UUID = item.endpoint + item.metric + item.tags + item.dstype + item.step
    
    * item.md5 = item.endpoint + item.metric + item.tags
  • 处理数据

    graph会将item进行三种处理

    • 刷入本地缓存,即内存队列中,定期将队列中的数据存储到rrd文件,rrd命名规则:RRDFileName = rrd_base_path + item.md5 + item.dstype + item.step

    • 建立本地索引,首先会尝试增量建立索引,当索引接受到数据后,通过数据的checksum值来确定是不是这个来自endpoint的metric是否是第一次采集数据。如果不是第一次采集数据,

则在indexedItemCache中能够找到,并且如果uuid没变则只更新item。如果uuid变了重新index操作(涉及dstype和step的改变)。

如果是第一次数据采集,在indexeditemCache中找不到,添加到unindexeditemCache中,等待被索引。最后定时会unindexeditemCache中创建索引,保存到mysql数据库中,此时涉及mysql数据库三张表

* endpoint 表。该表记录了所有上报数据的endpoint,并且为每一个endpoint生成一个id即 endpoint_id。

* tag_endpoint表。拆解item的每一个tag。用tag和endpoint形成一个主键的表。记录每个endpoint包含的tag。每条记录生成一个id,为tagendpoint_id

* endpoint_counter表。counter是metric和tags组合后的名词


mysql> desc endpoint;

+----------+------------------+------+-----+-------------------+-----------------------------+

| Field    | Type             | Null | Key | Default           | Extra                       |

+----------+------------------+------+-----+-------------------+-----------------------------+

| id       | int(10) unsigned | NO   | PRI | NULL              | auto_increment              |

| endpoint | varchar(255)     | NO   | UNI |                   |                             |

| ts       | int(11)          | YES  |     | NULL              |                             |

| t_create | datetime         | NO   |     | NULL              |                             |

| t_modify | timestamp        | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |

+----------+------------------+------+-----+-------------------+-----------------------------+

5 rows in set (0.00 sec)

mysql> desc endpoint_counter ;

+-------------+------------------+------+-----+-------------------+-----------------------------+

| Field       | Type             | Null | Key | Default           | Extra                       |

+-------------+------------------+------+-----+-------------------+-----------------------------+

| id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment              |

| endpoint_id | int(10) unsigned | NO   | MUL | NULL              |                             |

| counter     | varchar(255)     | NO   |     |                   |                             |

| step        | int(11)          | NO   |     | 60                |                             |

| type        | varchar(16)      | NO   |     | NULL              |                             |

| ts          | int(11)          | YES  |     | NULL              |                             |

| t_create    | datetime         | NO   |     | NULL              |                             |

| t_modify    | timestamp        | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |

+-------------+------------------+------+-----+-------------------+-----------------------------+

8 rows in set (0.00 sec)

mysql> desc tag_endpoint;

+-------------+------------------+------+-----+-------------------+-----------------------------+

| Field       | Type             | Null | Key | Default           | Extra                       |

+-------------+------------------+------+-----+-------------------+-----------------------------+

| id          | int(10) unsigned | NO   | PRI | NULL              | auto_increment              |

| tag         | varchar(255)     | NO   | MUL |                   |                             |

| endpoint_id | int(10) unsigned | NO   |     | NULL              |                             |

| ts          | int(11)          | YES  |     | NULL              |                             |

| t_create    | datetime         | NO   |     | NULL              |                             |

| t_modify    | timestamp        | NO   |     | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |

+-------------+------------------+------+-----+-------------------+-----------------------------+

6 rows in set (0.00 sec)

建立索引的目的是为了更快定位rrd文件,而rrd文件命名是受endpoint、metric、tags、dstype、step决定的,所以当查询请求时,不可能便利所有的rrd文件,会先读取数据表的数据,拼接出rrd文件路径,然后根据时间范围进行获取数据

  • 存入实时数据(HistoryCache,虽然叫history,但是其实只保存了每个指标的最近3份数据)

查询过程

  • 根据endpoint和counter,从索引中获取dsType和step

    • 生成md5 :endpoint + counter => md5

    • 从indexedItemCache查找md5对应的item

    • 没有找到的话,从DB中进行查找

  • 开始/结束时间,按照step进行取整

  • 根据endpoint、counter、dsType、step,获取对应的RRD文件名

  • 从cache中查询数据 :根据cache key获取items和flag

  • 从历史数据中查询数据,如果cfg支持migrate,以及判断查询数据不在这个Graph实例,则从其它Graph实例进行查询。否则,查询本地rrd文件

  • 将cache中的数据,以及rrd/其它Graph实例中的数据,进行合并

数据迁移过程

Graph模块支持在集群成员改变的情况下,将其它Graph模块的数据拉取过来,或者向其它Graph模块发送本地的数据,达到数据迁移的目的。

配置:



     "migrate": {

          "enabled": false,

          "concurrency": 2,

          "replicas": 500,

          "cluster": {

              "graph-00" : "127.0.0.1:6070"

          }

      }

字段含义为:

  • enabled:是否启动迁移功能

  • concurrency:每个一致性哈希节点,负责迁移数据的工作协程数

  • replicas:一致性哈希中,每份数据的重复数

  • cluster:节点名称以及具体IP端口

上一篇:Homebrew安装和使用


下一篇:OpenStack实践系列②认证服务Keystone