mysql 解决生僻字，特殊字符插入失败

2022-05-20 13:44:43

MySQL 的 utf8 实际上不是真正的 UTF-8。utf8 只支持每个字符最多三个字节，而真正的 UTF-8 是每个字符最多四个字节。MySQL 一直没有修复这个 bug，他们在 2010 年发布了一个叫作 utf8mb4 的字符集，绕过了这个问题。当然，他们并没有对新的字符集广而告之（可能是因为这个 bug 让他们觉得很尴尬），以致于现在网络上仍然在建议开发者使用 utf8，但这些建议都是错误的。

简单概括如下：

MySQL 的 utf8mb4 是真正的 UTF-8。
MySQL 的 utf8 是一种专属的编码，它能够编码的 Unicode 字符并不多。
所有在使用 utf8 的 MySQL 和 MariaDB 用户都应该改用 utf8mb4，永远都不要再使用 utf8。
为什么会有UTF8MB4？
既然utf8应付日常使用完全没有问题，那为什么还要使用utf8mb4呢? 低版本的MySQL支持的utf8编码，最大字符长度为 3 字节，如果遇到 4 字节的字符就会出现错误了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xFFFF，也就是 Unicode 中的基本多文平面（BMP）。也就是说，任何不在基本多文平面的 Unicode字符，都无法使用MySQL原有的 utf8 字符集存储。这些不在BMP中的字符包括哪些呢？最常见的就是Emoji 表情（Emoji 是一种特殊的 Unicode 编码，常见于 ios 和 android 手机上），和一些不常用的汉字，以及任何新增的 Unicode 字符等等。
UTF-8编码
理论上将， UTF-8 格式使用一至六个字节，最大能编码 31 位字符。最新的 UTF-8 规范只使用一到四个字节，最大能编码21位，正好能够表示所有的 17个 Unicode 平面。关于UTF编码，请阅读《常见编码总结》一文。
而utf8 则是 Mysql 早期版本中支持的一种字符集，只支持最长三个字节的 UTF-8字符，也就是 Unicode 中的基本多文本平面。这可能是因为在MySQL发布初期，基本多文种平面之外的字符确实很少用到。而在MySQL5.5.3版本后，要在 Mysql 中保存 4 字节长度的 UTF-8 字符，就可以使用 utf8mb4 字符集了。例如可以用utf8mb4字符编码直接存储emoj表情，而不是存表情的替换字符。
为了获取更好的兼容性，应该总是使用 utf8mb4 而非 utf8，事实上，最新版的phpmyadmin默认字符集就是utf8mb4。诚然，对于 CHAR 类型数据，使用utf8mb4 存储会多消耗一些空间。
那么utf8mb4比utf8多了什么的呢?
多了emoji编码支持.
如果实际用途上来看,可以给要用到emoji的库或者说表,设置utf8mb4.
比如评论要支持emoji可以用到.
建议普通表使用utf8 如果这个表需要支持emoji就使用utf8mb4
新建mysql库或者表的时候还有一个排序规则
utf8_unicode_ci比较准确，utf8_general_ci速度比较快。通常情况下 utf8_general_ci的准确性就够我们用的了，在我看过很多程序源码后，发现它们大多数也用的是utf8_general_ci，所以新建数据库时一般选用utf8_general_ci就可以了
如果是utf8mb4那么对应的就是 utf8mb4_general_ci utf8mb4_unicode_ci

查询系统字符编码变量 (最好不要使用连接工具 navica 等，查出来的不准，使用终端，cmd 等)

SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%';

未修改之前

image.png

修改设置

修改数据库编码及字符集

ALTER DATABASE db_name(你的数据库) CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci;

给没有设置编码的表设置编码

alter table table_name(你的表名) default character set utf8mb4 collate=utf8mb4_general_ci;

批量生成修改所有表编码的 sql 然后复制执行

SELECT 
CONCAT("ALTER TABLE `", TABLE_NAME,"` default character set utf8mb4 collate=utf8mb4_general_ci;") 
AS target_tables
FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = "db_name" （这里是数据库名）
AND TABLE_TYPE="BASE TABLE"

修改表字段编码

ALTER TABLE temp convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

批量生成修改所有表字段编码的 sql 然后复制执行

SELECT 
CONCAT("ALTER TABLE `", TABLE_NAME,"` convert to CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;") 
AS target_tables
FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = "db_name" （这里是数据库名）
AND TABLE_TYPE="BASE TABLE"

修改 my.ini 文件或者 my-default.int 文件

[client]
default-character-set = utf8mb4

[mysql]
default-character-set = utf8mb4

[mysqld]
# 设置表字段排序规则
init_connect='SET collation_connection = utf8mb4_unicode_ci'
# set names utf8 是用于设置编码，可以再在建数据库的时候设置，也可以在创建表的时候设置，或只是对部分字段进行设置
init_connect='SET NAMES utf8mb4'
# 设置数据库编码
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci
# 此处是忽略客户端的字符集，使用服务器的设置
skip-character-set-client-handshake

重新启动

修改之后

作者：吉他手_c156
链接：https://www.jianshu.com/p/b821f69e189a
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

码农公寓

查询系统字符编码变量 (最好不要使用连接工具 navica 等，查出来的不准，使用终端，cmd 等)

修改设置

重新启动

修改之后

相关文章