sqoop和mysql之间导问题

1.1. 导出时报错
1.1.1. Could not buffer record
在import的时候设置--inline-lob-limit <n> 设置内联的LOB对象的大小
1.1.2. Packet for query is too large (1136885 > 1048576). You can change this value on the server by setting the max_allowed_packet' variable.

有时候大的插入和更新会受max_allowed_packet 参数限制,导致写入或者更新失败。
查看目前配置
show VARIABLES like '%max_allowed_packet%';
显示的结果为:
+--------------------+---------+
| Variable_name | Value |
+--------------------+---------+
| max_allowed_packet | 1048576 |
+--------------------+---------+
以上说明目前的配置是:1M

修改方法
修改方法
1、修改配置文件
可以编辑my.cnf来修改(windows下my.ini),在[mysqld]段或者mysql的server配置段进行修改。
max_allowed_packet = 20M
如果找不到my.cnf可以通过
mysql --help | grep my.cnf
去寻找my.cnf文件。
linux下该文件在/etc/下。
2、在mysql命令行中修改
在mysql 命令行中运行
set global max_allowed_packet = 2*1024*1024*10
然后退出命令行,重启mysql服务,再进入。
show VARIABLES like '%max_allowed_packet%';
查看下max_allowed_packet是否编辑成功

注意:该值设置过小将导致单个记录超过限制后写入数据库失败,且后续记录写入也将失败。

--inline-lob-limit 16777216

上一篇:sqoop数据倾斜解决实战


下一篇:Sqoop 工具速查表(中文版)【转】