- 下载安装MinIO
- 新建安装路径
# 安装主目录 mkdir -p /data/app/minio # 数据目录 mkdir -p /data/app/minio/data # 日志目录 mkdir -p /data/app/minio/log
- 下载MinIO安装包
cd /data/app/minio wget -q http://dl.minio.org.cn/server/minio/release/linux-amd64/minio # 如果下载不了,在本地下载完成之后上传至服务器 # 设置权限 chmod +x minio
- 自定义MinIO账户密码
export MINIO_ACCESS_KEY=minio export MINIO_SECRET_KEY=minio123 vim /etc/profile source /etc/profile
- MinIO启动脚本编写
cd /data/app/minio vim start_minio.sh nohup /data/app/minio/minio server /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 & chmod 777 *.sh
- MinIO默认端口修改
cd /data/app/minio vim start_minio.sh nohup /data/app/minio/minio server --address 0.0.0.0:60035 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
- 启动MinIO+查看日志
cd /data/app/minio ./start_minio.sh # 查看日志 发现控制台端口是随机生成的 tail -100f /data/app/minio/log/minio.log [root@10-177-146-32.itom-core.dgtest01 log]# tail -100f minio.log WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated. Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD API: http://0.0.0.0:60035 Console: http://10.177.146.32:43618 http://127.0.0.1:43618 Documentation: https://docs.min.io WARNING: Console endpoint is listening on a dynamic port (43618), please use --console-address ":PORT" to choose a static port.
- MinIO控制台端口指定
cd /data/app/minio vim start_minio.sh nohup /data/app/minio/minio server --address 0.0.0.0:20000 --console-address 0.0.0.0:20001 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 & # 查看日志 tail -100f /data/app/minio/log/minio.log [root@10-177-146-32.itom-core.dgtest01 minio]# tail -100f log/minio.log WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated. Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD API: http://0.0.0.0:20000 Console: http://0.0.0.0:20001 Documentation: https://docs.min.io
- MinIO命令
[root@10-177-146-32.itom-core.dgtest01 minio]# ./minio --help NAME: minio - High Performance Object Storage DESCRIPTION: Build high performance data infrastructure for machine learning, analytics and application data workloads with MinIO USAGE: minio [FLAGS] COMMAND [ARGS...] COMMANDS: server start object storage server gateway start object storage gateway FLAGS: --certs-dir value, -S value path to certs directory (default: "/root/.minio/certs") --quiet disable startup information --anonymous hide sensitive information from logging --json output server logs and startup information in json format --help, -h show help --version, -v print the version VERSION: RELEASE.2021-12-29T06-49-06Z
- 访问MinIO控制台
http://10.177.146.32:20001/login minio/minio123
- MinIO文档
http://docs.minio.org.cn/docs/master/minio-monitoring-guide http://www.minio.org.cn/
- 新建安装路径
- Flink 使用MinIO
- MinIO创建桶(Bucket)--Flink存放状态+checkpoint文件
PS: 需要注意的是层级桶需要逐层创建内嵌再创建子桶,直接将桶名称指定为abc/xxx 会报错
- 针对桶的操作
- 上传文件
- 上传文件夹
- 文件|文件夹的分享,下载,删除
将分享地址中的0.0.0.0 修改成minio服务器所在的IP地址,之后在浏览器中直接访问,报错说需要正确的解密key,因此访问文件应该需要秘钥
- Bucket桶列表
- Flink配置文件中使用MinIO
- 修改Flink 配置文件
cd /data/app/flink-1.13.3/conf vim flink-conf.yaml # state.backend: filesystem fs.allowed-fallback-filesystems: s3 state.backend: filesystem state.checkpoints.dir: s3://state/checkpoint s3.endpoint: http://10.177.146.32:20000 s3.path.style.access: true s3.access-key: minio s3.secret-key: minio123
- 启动|重启Flink集群
cd /data/app/flink-1.13.3/bin ./start-cluster.sh http://10.177.146.32:8081/#/overview
-
提交Flink 任务
cd /data/app/big-event/bin ./run.sh # 以下为输出日志信息 start run flink job run sql: imporantEvent/use.sql with path: /data/app/big-event/conf/flinkSQL/imporantEvent/use.sql Job has been submitted with JobID 90893558f929224536159910b743d710
- Flink任务自动checkpoint
- Flink控制台展示
- MinIo上Bucket中文件
- 修改Flink 配置文件
- MinIO创建桶(Bucket)--Flink存放状态+checkpoint文件
- MinIo