git clone https://github.com/gregrahn/tpcds-kit.git cd tpcds-kit/tools make OS=LINUX存放的位置为:/root/trino (备注:自己定义即可,尽量与trino-server-363放在同一层目录,方便自己查找) (125\124\123\122)环境安装:awscil
yum -y install awscli配置环境 注意:每台服务器都要进行相同的配置
aws configure aws_access_key_id = GVO55HIKELKQIN4QSOPL aws_secret_access_key = XgdhYuGsXHHg3yi0WySVQ8GwztW4SpIrL5irUdlA Default region name [None]: cn-south-2 Default output format [None]: json2、生成测试数据 如何编译及使用TPC-DS生成测试数据:https://cloud.tencent.com/developer/article/1078882 (可根据自己的方式存放)数据存放的目录,示例图如下截图所示:
cd /root/trino/tpcds-kit mkdir TpcdsData cd /root/trino/tpcds-kit/tools ./dsdgen -SCALE 1GB -DIR /root/trino/tpcds-kit/TpcdsData #单条生成测试数据 ./dsdgen -SCALE 500GB -DIR /root/trino/tpcds-kit/TpcdsData -parallel 4 -child 4 #并行生成测试数据单独在开一个窗口,执行命令查看数据生成情况
cd /root/trino/tpcds-kit/TpcdsData du -sh *3、修改mys3文件 (124)在生成数据的目录下,新建一个script文件夹存放mys3.sh文件,示例:/root/trino/tpcds-kit/TpcdsData/script/mys3.sh 选择一个语句,进行环境的验证,示例:选择了第一个语句,将/root/trino/tpcds-kit/TpcdsData/call_center.dat的TPC数据写入到S3的call_center中
aws --endpoint-url http://obs.cn-southwest-2.myhuaweicloud.com s3 cp /root/trino/tpcds-kit/TpcdsData/call_center.dat s3://fastdata-tsdb/deepdevhwc/syw_postgreSQL_TPCds/call_center/