如何解决python连接数据库编码问题（python传数据到mysql乱码）'ascii' codec can't encode _mysql_exceptions.OperationalError: (1366, "Incorrect string value:？

2023-07-17 23:19:28

首先描述下问题：

　　在使用python计算出结果后将结果插入到mysql过程中，报如下错误。原因很好定位就是编码的问题。那么到底是编码哪里出了问题了呢？

报错如上：

排查顺序：

第一：python的编码

自己的代码，发现打开的时候的确已经制定了编码？那么问题应该不是在python的编码问题。

同时采用：

打印出word[5] 又发现会报错 ASCii 不识别等错误。于是再这里纠结了很久很久。终于把打印问题解决了。

解决办法：如果要打印出正常的中文，在程序开头加上这么一段代码即可：

python 脚本

import io

import sys

from urllib.request import urlopen

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

注意：上面的代码，仅仅能解决在打印的时候打印出中文。

如果没有上面的代码，会报如下错误：

python报错代码：
Traceback (most recent call last):

  File "/data/codes/run.py", line 46, in <module>

    pre(sys.argv[2], sys.argv[3], sys.argv[4], clean_run=False, **optional)

  File "/data/codes/matrix/preprocess.py", line 30, in pre

    preprocess(job.input_file(), timestamp)

  File "/data/codes/matrix/job/preprocess.py", line 23, in preprocess

    for record in load_data(filename):

  File "/data/codes/matrix/data/DataLoader.py", line 75, in load_data

    print(words[3])

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

总之：你会发现不是python的错误，而应该是插入到mysql里面发生了错误，那么我们去找mysql的编码问题问题。

第二：Mysql数据库的编码

我们都知道，mysql编码的时候默认是 lati1编码。但是更多时候我们会把他换成utf-8。

于是普遍的，我们在建完数据库，会做编码的修改，例如：

mysql代码：

set character_set_client=utf8;

set character_set_results=utf8;

set character_set_connection=utf8;

set character_set_database=utf8;

但是，我想很郑重的告诉你，你以为这样就真的万事大吉了，你以为这样再出现问题就不是mysql的问题了。

你会想，我都设置成了 utf-8 还会出现什么问题呢？

接下来我们看看，设置完上面之后我的数据库中的的一个表

看到么？里面的表的编码还是latin1。

于是，我们得出结论是，如果你在建立表之后才修改myslq 的编码，那么原来建的边的编码不会发生变化。要让其变化必须进行更加确切的编码指定，例如用下面的语句

：

mysql代码：

alter table BETWEENNESS  character set utf8;·

这个时候你可能会认为这样就完成了，but，python的运行下，错误仍然会继续报错。

我们这个时候再看看数据库表的编码类型：

恶心不恶心，你把表的编码都改好了，却发现字段的编码还是默认的Latin1。亲爱的latin1你是有多么的爱我，舍不得我。

从上面的报错，我们能看到，主要原因是我的 ‘semantic’字段报的错。

于是下面这个代码解决了问题：

mysql代码：
alter database matrix character set utf8;

alter table BETWEENNESS change semantic semantic varchar(32)  character set utf8 not null;

alter table BETWEENNESS  character set utf8;

直到这个时候，问题彻底解决了。latin1终于不见了。

总结：在你需要的数据库建立之前就将所有的编码都设置mysql 代码

set character_set_client=utf8;

set character_set_results=utf8;

set character_set_connection=utf8;

set character_set_database=utf8;

一旦你已经在为做任何编码改动的时候把表和数据库已经建立好的话，那么执行上面的代码后，前面建立的表的各种编码似乎改变好像要看运气，哈哈。严格的说不是运气，我对数据库不是很熟悉，所以不知道具体原因。

但是一旦你发生了上面的问题。就是先建立了数据库和表，需要更改编码的时候。请将以前建立的数据库和表，通过确切的具体的方式把他们的编码修改过来。

例如：

alter table <表名> character set utf8;

alter table <表名> change <字段名> <字段名> <类型> character set utf8;

alter table user change username username varchar(20) character set utf8 not null;

分享一个关于改变mysql'编码的文章：http://www.cnblogs.com/shootercheng/p/5836657.html

-----------------------------------------------------------------------------华丽丽的分割线------------------------------------------------------------------------------------------------------------

说说感想：

　　　　这个小的问题，我折腾了两天,感觉有一肚子的气要说出来，真正写出来的时候觉得问题就是那么简单，高手也许半个小时就解决了，只是觉得自己很笨。

第一天和第二天的一半时间都以为是python的问题，在找各种python编码转中文的问题，感觉百度的文章都被我找遍了。找的过程中还考虑了python版本的问题，发现有些函数在2.7使用，3.5就不适用了。例如下面的代码：

import sys

reload(sys)

sys.setdefaultencoding('utf8')

3.5版本的会告诉你不认识reload函数

回到前面，如果要打印中文就加上如下脚本

python 脚本

import io

import sys

from urllib.request import urlopen

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

如果读文就加上：

 open(filename, 'r', encoding="utf8") as reader:

我们再回到mysql编码：

总之还是要细心，当python和mysql对接的时候请注意检查：

  1. 确保数据库编码为 `utf-8`

  2. 确保数据库表的编码为`utf-8`

  3. 确保数据库字段编码为 `utf-8`

  4.程序连接数据库指定编码：`MySQLdb.connect("localhost","root","***","Data",charset='utf8')`

  5.文本的编码问题也应该统一。
  参考网址：http://blog.csdn.net/shomy_liu/article/details/47681893

关键词“细心”。

码农公寓

相关文章