Hadoop - 实时查询Drill

2022-05-31 00:34:02

1.概述

　　在现实业务当中，存在这样的业务场景，需要实时去查询HDFS上的相关存储数据，普通的查询（如：Hive查询），时延较高。那么，是否存在时延较小的查询组件。在业界目前较为成熟的有Cloudera的Impala，Apache的Drill，Hortonworks的Stinger。本篇博客主要为大家介绍Drill，其他两种方式大家可以自行下去补充。

2.Drill Architecture

2.1 Cilent

　　使用Drill，可以通过以下方式进入到Drill当中，内容如下所示：

Drill shell：使用客户端命令去操作
Drill Web Console：Web UI界面去操作相关内容
ODBC/JDBC：使用驱动接口操作
C++ API：C++的API接口

2.2 Drill Query Execution

　　执行流程如下图所示：

2.3 Core Modules

　　核心模块图，如下所示：

　　至于详细的文字描述，这里就不多做赘述了。大家看图若是有疑惑的地方，可以去官方网站，查看详细的文档描述。［官方文档］

3.Drill使用

　　介绍完Drill的架构流程，下面我们可以去使用Drill去做相关查询操作。安装Drill的过程比较简单，这里就不多做详细的赘述了。首先，去Apache的官网下载Drill的安装包，这里笔者所使用的本版是drill-1.2.0。可独立部署在物理机上，不必与Hadoop集群部署在一起。这里需要注意的是，物理机的内存至少留有4G空闲给Drill去使用。不然，在执行查询操作的时候会内容溢出，查询Drill的官方文档，官方给出的解释是，操作的内容都在内容中完成，不会写磁盘，除非你强制指明去写磁盘，但是，一般考虑到响应速度因素，都会在内容中完成。笔者曾试图降低其内存配置小于4G，然并卵。所以，在使用Drill做查询时，需要保证物理机空闲内存大于等于4G。

［JDK下载地址］
［Drill下载地址］

　　目前，Drill迭代版本比较快速。大家在下载Drill版本的时候，可以多多留意下版本内容变化。

　　在解压Drill的压缩包后，在其conf文件夹下有一个drill-override.conf文件，这里我们在里面添加Web UI的访问地址，添加的内容我们可以在drill-override-example.conf模版文件中查找对应的内容。添加内容如下所示：

drill.exec: {

  cluster-id: "drillbits1",

  zk.connect: "dn1:2181,dn2:2181,dn2:2181",

  http: {

    enabled: true,

    ssl_enabled: false,

    port:

  }

}

　　这里需要注意的是，Drill需要用ZK，这里笔者就直接使用Hadoop集群的ZooKeeper集群连接信息地址。在添加完内容后，可以使用以下命令启动。

./drillbit.sh start

　　启动之后，Web UI界面如下所示：

　　目前条件有限，只有单台物理机，所以只部署了单台Drill。若是，大家条件允许，可以查看官网文档去部署Cluster。Drill插件默认是没有HDFS的，需要我们主动去创建，默认只有以下插件，如下图所示：

　　这里，笔者已经配置过HDFS的插件，故上图出现HDFS插件信息，其配置信息如下所示：

{

  "type": "file",

  "enabled": true,

  "connection": "hdfs://hadoop.company.com:9000/",

  "workspaces": {

    "root": {

      "location": "/opt/drill",

      "writable": true,

      "defaultInputFormat": null

    }

  },

  "formats": {

    "csv": {

      "type": "text",

      "extensions": [

        "csv"

      ],

      "delimiter": ","

    },

    "tsv": {

      "type": "text",

      "extensions": [

        "tsv"

      ],

      "delimiter": "\t"

    },

    "parquet": {

      "type": "parquet"

    }

  }

}