环境:tidb、linux
1、先确认主键、创建分区表(用于代替原表)
SELECT column_name FROM INFORMATION_SCHEMA.`KEY_COLUMN_USAGE` WHERE table_name=‘wpt_dzxx_chdzb_20200813‘ AND constraint_name=‘PRIMARY‘;
2、去除原表重复主键的行
3、统计原表总数
select count(1) from wpt_dzxx_chdzb; --29883575
4、导出表
mysqldump -h 192.168.1.4 -P 4000 -u root -ppassword rkw_ezc_prod wpt_dzxx_chdzb >wpt_dzxx_chdzb.sql
5、清空要导入的表
truncate table wpt_dzxx_chdzb_20200813
6、替换表名称
sed -i ‘s/wpt_dzxx_chdzb/wpt_dzxx_chdzb_20200813/g‘ wpt_dzxx_chdzb.sql
7、分成小文件 并清理第一个删除前面的drop命令
删除文档的第一行 sed -i ‘1d‘ wpt_dzxx_chdzb.sql
删除文档的最后一行 sed -i ‘$d‘ wpt_dzxx_chdzb.sql
split -l 200 wpt_dzxx_chdzb.sql -d -a 3 wpt_dzxx_chdzb_20200813
8、执行导入
-- 生成导入脚本
for i in `ls`
do echo ‘nohup mysql -h 192.168.1.4 -P 4000 -u root -D rkw_ezc_prod -ppasswd <‘ $i ‘> /tmp/dump1/‘$i ‘2>&1 &‘
done
--建目录执行导入
mkdir /tmp/dump1