【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境(三)

1、安装与配置 下载安装包
git clone https://github.com/gregrahn/tpcds-kit.git
cd tpcds-kit/tools
make OS=LINUX
存放的位置为:/root/trino (备注:自己定义即可,尽量与trino-server-363放在同一层目录,方便自己查找)   (125\124\123\122)环境安装:awscil
yum -y install awscli
  配置环境 注意:每台服务器都要进行相同的配置
aws configure
aws_access_key_id = GVO55HIKELKQIN4QSOPL
aws_secret_access_key = XgdhYuGsXHHg3yi0WySVQ8GwztW4SpIrL5irUdlA
Default region name [None]: cn-south-2
Default output format [None]: json
【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境(三)

2、生成测试数据 如何编译及使用TPC-DS生成测试数据:https://cloud.tencent.com/developer/article/1078882 (可根据自己的方式存放)数据存放的目录,示例图如下截图所示:
cd /root/trino/tpcds-kit
mkdir TpcdsData
cd /root/trino/tpcds-kit/tools
./dsdgen -SCALE 1GB -DIR /root/trino/tpcds-kit/TpcdsData    #单条生成测试数据
./dsdgen -SCALE 500GB -DIR /root/trino/tpcds-kit/TpcdsData -parallel 4 -child 4   #并行生成测试数据 
单独在开一个窗口,执行命令查看数据生成情况

cd /root/trino/tpcds-kit/TpcdsData
du -sh *
【TPC-DS】trino+S3+hive+postgresql性能测试----生成简单数据验证环境(三)

  3、修改mys3文件 (124)在生成数据的目录下,新建一个script文件夹存放mys3.sh文件,示例:/root/trino/tpcds-kit/TpcdsData/script/mys3.sh

选择一个语句,进行环境的验证,示例:选择了第一个语句,将/root/trino/tpcds-kit/TpcdsData/call_center.dat的TPC数据写入到S3的call_center中

aws --endpoint-url http://obs.cn-southwest-2.myhuaweicloud.com s3 cp /root/trino/tpcds-kit/TpcdsData/call_center.dat s3://fastdata-tsdb/deepdevhwc/syw_postgreSQL_TPCds/call_center/

 

 

 

 

 

 

上一篇:【TPC-DS】trino+S3+hive+postgresql性能测试----查询与写入数据(五)


下一篇:PostgreSQL自增序列手工设置主键+自动生成主键融合使用