Kettle 连接数据库问题分析及解决
一、问题一:测试连接数据库出问题
1 将如下驱动包导入data-integration目录下的Lib目录
mysql-connector-java-5.1.40.jar
mysql-connector-java-8.0.17.jar
mysql-connector-java-5.1.40.jar提取码dny8
mysql-connector-java-8.0.17.jar提取码qqxh
2 重新测试连接数据库
如果连接成功,则结束,如果连接成功但是再进行数据转换时出错,或者其他问题往下看。(基本上驱动有了都会成功)
二、 问题二:测试连接成功,但是在进行转换运行时出错
1 这种情况基本上都是字符集问题
可能在你测试成功后,在进行在Kettle上执行SQL语句建立表时出错,是字符集错误没跑了。
2 修改字符集
将mysql下的字符集编码格式改为utf8mb4
utf-8编码可能2个字节、3个字节、4个字节的字符,但是MySQL的utf8编码只支持3字节的数据,而移动端的表情数据是4个字节的字符。如果直接往采用utf-8编码的数据库中插入表情数据,程序中将报SQL异常。
3 修改过程如下
修改mysql字符集编码为utf8mb4(Linux系统)
1 查看自己的数据库版本
SHOW VARIABLES WHERE Variable_name LIKE ‘character_set_%’ OR Variable_name LIKE ‘collation%’;
如下:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DMtDgUp9-1631938806029)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20210918121325215.png)]
2 进入自己的mysql安装路径修改my.cnf配置文件
我的安装路径是:/etc/mysql:在配置文件中添加如下内容:
[client]
default-character-set = utf8mb4
[mysql]
default-character-set = utf8mb4
[mysqld]
character-set-client-handshake = FALSE
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
init_connect=‘SET NAMES utf8mb4’
3 重新启动数据库
再次查看数据库编码格式:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xtkO5J4d-1631938806031)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\image-20210918121251784.png)]
可以看到,已经成功修改为utf8mb4格式
4 将数据库和已经建好的表也转换成utf8mb4
ALTER DATABASE (输入你自己的数据库名) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; ALTER TABLE (输入你自己的表名) CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
5 将kettle中数据库连接中的高级添加下面一句话
set names utf8;
6 将kettle中数据库连接中的选项下的命令参数添加下面一句话
characterEncoding utf8;
通过上面几步,基本上可以解决Kettle连接数据库和中文乱码问题。