drill 学习 五 配置说明- 多租户

drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式
drill可以与以下大数据工具运行在一起:

  • mapreduce
  • yarn
  • hbase
  • hive && pig
  • spark
    当我们与其他工具一起运行的时候需要关注:内存,cpu,以及磁盘的配置
    当用户共享drillbit的时候,我们同时需要配置队列以及并行

多租户模式的资源配置

主要的配置文件是drill-env.sh,具体的配置可以结合官方文档以及各种工具的实践说明,但是对于cpu
资源的配额管理推荐使用linux 的cgroup

共享drillbit 模式

我们需要关注查询队列,包含的配置选项(通过sys.options)

 
exec.queue.large
exec.queue.small
exec.queue.threshold

并行配置,相关的参数(通过sys.options):

planner.width.max_per_node
跨核心和群集节点的查询的最大分布程度。
planner.width.max_per_query
与每个节点的最大值相同,但适用于整个集群执行的查询

说明

以上是一个简单的说明,详细的可以参考官方文档

参考资料

https://drill.apache.org/docs/configuration-options-introduction/
https://drill.apache.org/docs/performance-tuning-introduction/
https://drill.apache.org/docs/configuring-resources-for-a-shared-drillbit/
https://drill.apache.org/docs/configuring-cgroups-to-control-cpu-usage/

上一篇:Kubernetes 文档


下一篇:学习使用Bootstrap弹出框Popover插件事件实例