Druid 集群方式部署 —— 元数据和深度存储

2024-01-02 12:54:34

配置 metadata 存储和深度存储（deep storage）

从独立服务器部署上合并到集群

如果您已经有一个独立服务器的部署实例，并且希望在整个迁移过程中保留数据，请在对元数据进行迁移之前先阅读：

本指南中的元数据迁移是针对你将原数据存储在 Derby 数据库中，同时你的深度存储也是使用的 Derby 数据库。
如果你在单实例部署的服务器上已经使用了非 Derby 的数据库存储元数据或者分布式深度存储的那，那么你可以在新的集群环境中使用已经存在并且使用的存储方案。

本指南还提供了从本地深度存储中进行段合并的信息。
集群环境的部署是需要配置深度存储的，例如 S3 或 HDFS。
如果单实例部署已在使用分布式深度存储，则可以在新集群中继续使用当前的深度存储。

元数据存储

在 conf/druid/cluster/_common/common.runtime.properties 配置文件中，替换 “metadata.storage.*” 的的属性来确定元数据存储的服务器地址。
元数据通常是存储在数据库中的，因此你可以在这里配置你的数据库服务器地址。

druid.metadata.storage.connector.connectURI
druid.metadata.storage.connector.host

在实际的生产环境中，我们推荐你使用独立的元数据存储数据库例如 MySQL 或者 PostgreSQL 来增加冗余性。
这个配置将会在 Druid 服务器外部配置一个数据库连接来保留一套元数据的配置信息，以增加数据冗余性。

MySQL extension 和 PostgreSQL extension
页面中有如何对扩展进行配置和对数据库如何进行初始化的说明，请参考上面页面中的内容。

深度存储

Druid 依赖分布式文件系统或者一个大对象（blob）存储来对数据进行存储。
最常用的深度存储的实现通常使用的是 S3 (如果你使用的是 AWS 的话)或者 HDFS（如果你使用的是 Hadoop 部署的话）。

S3

在文件 conf/druid/cluster/_common/common.runtime.properties，

添加 “druid-s3-extensions” 到 druid.extensions.loadList。
在 “Deep Storage” 和 “Indexing service logs” 部分的配置中，注释掉本地存储的配置。
在 “Deep Storage” 和 “Indexing service logs” 部分的配置中，取消注释 “For S3” 部分有关的配置。

在完成上面的操作后，你的配置文件应该看起来和下面的内容相似：

druid.extensions.loadList=["druid-s3-extensions"]

#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

druid.storage.type=s3
druid.storage.bucket=your-bucket
druid.storage.baseKey=druid/segments
druid.s3.accessKey=...
druid.s3.secretKey=...

#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=your-bucket
druid.indexer.logs.s3Prefix=druid/indexing-logs

请参考 S3 extension 页面中的内容来获得更多的信息。

HDFS