MinIO 单机版安装使用+Flink使用MinIO状态存储

  1. 下载安装MinIO
    1. 新建安装路径  
      # 安装主目录
      mkdir -p /data/app/minio
      # 数据目录
      mkdir -p /data/app/minio/data
      # 日志目录
      mkdir -p /data/app/minio/log
    2. 下载MinIO安装包
      cd /data/app/minio
      wget -q http://dl.minio.org.cn/server/minio/release/linux-amd64/minio
      # 如果下载不了,在本地下载完成之后上传至服务器
      # 设置权限
      chmod +x  minio
    3. 自定义MinIO账户密码
      export MINIO_ACCESS_KEY=minio
      export MINIO_SECRET_KEY=minio123
      
      vim /etc/profile
      source  /etc/profile
    4. MinIO启动脚本编写
      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      chmod 777 *.sh
    5. MinIO默认端口修改
      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:60035 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
    6. 启动MinIO+查看日志
      cd /data/app/minio
      ./start_minio.sh
      
      # 查看日志 发现控制台端口是随机生成的
      tail -100f /data/app/minio/log/minio.log
      
      [root@10-177-146-32.itom-core.dgtest01 log]# tail -100f minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:60035 
      
      Console: http://10.177.146.32:43618 http://127.0.0.1:43618 
      
      Documentation: https://docs.min.io
      
      WARNING: Console endpoint is listening on a dynamic port (43618), please use --console-address ":PORT" to choose a static port.
    7. MinIO控制台端口指定
      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:20000 --console-address 0.0.0.0:20001 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      # 查看日志
      tail -100f /data/app/minio/log/minio.log
      [root@10-177-146-32.itom-core.dgtest01 minio]# tail -100f log/minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:20000 
      
      Console: http://0.0.0.0:20001 
      
      Documentation: https://docs.min.io
    8. MinIO命令
      [root@10-177-146-32.itom-core.dgtest01 minio]# ./minio --help
      NAME:
        minio - High Performance Object Storage
      
      DESCRIPTION:
        Build high performance data infrastructure for machine learning, analytics and application data workloads with MinIO
      
      USAGE:
        minio [FLAGS] COMMAND [ARGS...]
      
      COMMANDS:
        server   start object storage server
        gateway  start object storage gateway
        
      FLAGS:
        --certs-dir value, -S value  path to certs directory (default: "/root/.minio/certs")
        --quiet                      disable startup information
        --anonymous                  hide sensitive information from logging
        --json                       output server logs and startup information in json format
        --help, -h                   show help
        --version, -v                print the version
        
      VERSION:
        RELEASE.2021-12-29T06-49-06Z
    9. 访问MinIO控制台
      http://10.177.146.32:20001/login
      
      minio/minio123

      MinIO 单机版安装使用+Flink使用MinIO状态存储

    10. MinIO文档
      http://docs.minio.org.cn/docs/master/minio-monitoring-guide 
      http://www.minio.org.cn/
  2. Flink 使用MinIO
    1.  MinIO创建桶(Bucket)--Flink存放状态+checkpoint文件MinIO 单机版安装使用+Flink使用MinIO状态存储

      MinIO 单机版安装使用+Flink使用MinIO状态存储

      PS: 需要注意的是层级桶需要逐层创建内嵌再创建子桶,直接将桶名称指定为abc/xxx 会报错

       MinIO 单机版安装使用+Flink使用MinIO状态存储

      MinIO 单机版安装使用+Flink使用MinIO状态存储 

    2. 针对桶的操作
      1. 上传文件

        MinIO 单机版安装使用+Flink使用MinIO状态存储

        MinIO 单机版安装使用+Flink使用MinIO状态存储

      2. 上传文件夹 MinIO 单机版安装使用+Flink使用MinIO状态存储MinIO 单机版安装使用+Flink使用MinIO状态存储MinIO 单机版安装使用+Flink使用MinIO状态存储

        MinIO 单机版安装使用+Flink使用MinIO状态存储

      3. 文件|文件夹的分享,下载,删除
          
        MinIO 单机版安装使用+Flink使用MinIO状态存储

         MinIO 单机版安装使用+Flink使用MinIO状态存储

        MinIO 单机版安装使用+Flink使用MinIO状态存储

        将分享地址中的0.0.0.0 修改成minio服务器所在的IP地址,之后在浏览器中直接访问,报错说需要正确的解密key,因此访问文件应该需要秘钥 
    3. Bucket桶列表

        MinIO 单机版安装使用+Flink使用MinIO状态存储

    4. Flink配置文件中使用MinIO
      1. 修改Flink 配置文件
        cd  /data/app/flink-1.13.3/conf
        vim flink-conf.yaml
            # state.backend: filesystem
            fs.allowed-fallback-filesystems: s3
            state.backend: filesystem 
            state.checkpoints.dir: s3://state/checkpoint
            s3.endpoint: http://10.177.146.32:20000
            s3.path.style.access: true
            s3.access-key: minio
            s3.secret-key: minio123
      2. 启动|重启Flink集群
        cd /data/app/flink-1.13.3/bin
        ./start-cluster.sh
        http://10.177.146.32:8081/#/overview

        MinIO 单机版安装使用+Flink使用MinIO状态存储

      3. 提交Flink 任务

        cd /data/app/big-event/bin
         ./run.sh 
        
        # 以下为输出日志信息
        start run flink job
        run sql: imporantEvent/use.sql  with path: /data/app/big-event/conf/flinkSQL/imporantEvent/use.sql
        Job has been submitted with JobID 90893558f929224536159910b743d710

        MinIO 单机版安装使用+Flink使用MinIO状态存储

        MinIO 单机版安装使用+Flink使用MinIO状态存储

      4. Flink任务自动checkpoint
        1. Flink控制台展示

          MinIO 单机版安装使用+Flink使用MinIO状态存储

        2. MinIo上Bucket中文件

          MinIO 单机版安装使用+Flink使用MinIO状态存储

  1. MinIo
上一篇:Flink 生产实践 性能问题


下一篇:关于流处理框架Flink的入门使用