文章目录
- 1、参考
- 2、flink 常见部署模式组合
- 3、Standalone 安装
-
- 3.1 单节点安装
- 3.2 问题1
- 3.3 修改ui 端口
- 3.4 使用ip访问
- 4 flink sql postgres --->mysql
-
- 4.1 配置postgres 12
- 4.2 新建用户并赋权
- 4.3. 发布表
- 4.4 Flink sql
- 4.5 Could not find any factory for identifier 'postgres-cdc' that implements 'org.apache.flink.table.factories.DynamicTableFactory'
- 4.6 Caused by: java.io.StreamCorruptedException: unexpected block data
- 4.7 FLink:Missing required options are: slot.name
- 4.8 ERROR: relation "pg_publication" does not exist
- 4.9 Flink：job报错NoResourceAvailableException: Could not acquire the minimum required resources
1、参考
Flink -3- 一文详解安装部署以及使用和调优（standalone 模式 | yarn 模式）
flink-cdc
2、flink 常见部署模式组合
3、Standalone 安装
3.1 单节点安装
flink 下载地址：https://flink.apache.org/downloads/
下载 flink 安装包：flink-1.18.1-bin-scala_2.12.tgz
安装在基础环境 192.168.1.51
cd /home/module
tar -xzf flink-1.18.1-bin-scala_2.12.tgz
mv flink-1.18.1 flink
3.2 问题1
The file .flink-runtime.version.properties has not been generated correctly. You MUST run ‘mvn generate-sources’ in the flink-runtime module
解决：把jdk 升级1.8.421 就可以了
3.3 修改ui 端口
conf/flink-conf.yaml
rest.port: 8086
3.4 使用ip访问
4 flink sql postgres —>mysql
4.1 配置postgres 12
vi /var/lib/postgresql/data/postgresql.conf
vi /var/lib/postgresql/data/postgresql.conf
# 更改wal日志方式为logical（方式有：minimal、replica 、logical ）
wal_level = logical
# 更改solts最大数量（默认值为10），flink-cdc默认一张表占用一个slots
max_replication_slots = 20
# 更改wal发送最大进程数（默认值为10），这个值和上