cube.js 集成dreamio

cube.js 集成dremio 是一个很不错的选择,可以使用dremio 强大的数据处理能力+cube.js 灵活的数据分析可以加速我们数据分析应用的开发

一个参考集成方案

简单说明,cube.js 进行数据分析,dremio 进行数据湖的处理(连接+加速数据处理)
cube.js 集成dreamio

 

 

 

简单集成

可以基于dreamio 提供driver 直接使用(基于rest api)

  • 环境准备
    docker-compose 文件(包含了一个pg)
 
version: "3"
services:
  dremio:
    image: dremio/dremio-oss:13.0
    environment:
     - DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE\$en_US
    ports:
      - "9047:9047"
      - "31010:31010"
  pg:
    image: postgres:12
    environment:
      - "POSTGRES_PASSWORD=dalong"
    ports:
      - "5432:5432"

pg 测试数据(自己可以灌入部分数据)

CREATE TABLE demoapps (
    id integer NOT NULL,
    name text,
    age integer
);
  • cube.js dremio app
npx cubejs-cli create -d dremio -t express dremapp
  • 配置修改
    .env 文件
 
# Cube.js environment variables: https://cube.dev/docs/reference/environment-variables
CUBEJS_DB_HOST=localhost
CUBEJS_DB_NAME=demoapp
CUBEJS_DB_USER=dalong
CUBEJS_DB_PASS=dalong123
CUBEJS_WEB_SOCKETS=true
CUBEJS_DEV_MODE=true
CUBEJS_DB_TYPE=dremio
CUBEJS_API_SECRET=3e3d9740392890fc565877fc4d3dae1376c5c6845c98eb5802631c9e380e72b9454051613f2c6d30316c1c67c1e31d32b9f5f14f1c0f5fbf45bc925c62b75f7f

运行效果

  • dremio 效果

cube.js 集成dreamio

 

 

 

  • cube 运行效果

cube.js 集成dreamio

 

 

 

  • 数据查询效果

cube.js 集成dreamio

 

 

 

几个问题

  • 编码问题
Error: Failed to encode in character set 'ISO-8859-1'

实际上是calcite的问题,需要配置编码配置,dremio 提供了一个env 文件(和drill 很类似),可以进行配置
参考:

 
DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE\$en_US
  • 其他db 集成编码问题
    目前在集成其他数据库的时候发现了类似的问题,但是并不是都有问题,有可能是系统环境问题,也可能是有bug(或者数据库表创建问题)

参考资料

https://docs.dremio.com/advanced-administration/dremio-env.html

上一篇:Kylin 的架构原理


下一篇:开发一个cockroachdb 的cube.js 驱动