一、在爬虫脚本做以下操作仍提示错误:SQL Error: 1366: Incorrect string value: "\xd0\xc2\xce\xc5…" for column "mian_title" at row 1
1、在文件头添加
#coding:utf8
2、添加:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
二、解决方法
1、检查数据库此字段的字符集与整理字符集是否与SQL语句传递数据的字符集相同;不相同则会引发MySQL1366错误。
mysql> show full columns from main_news; #显示数据表所有字段使用的状态(包括使用的字符集)。这里我的数据表名是main_news
可以看出,main_title字段的Collation项非utf8,进行修改。
2、修改
mysql> alter table main_news change main_title main_title varchar(900) character set utf8 collate utf8_unicode_ci not null default '';
在使用命令查看修改已成功完成。
附:上面的方法是从单个字段修改,下面介绍表,数据库的修改
修改数据库字符集: ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...]; 把表默认的字符集和所有字符列(CHAR,VARCHAR,TEXT)改为新的字符集: ALTER TABLE tbl_name CONVERT TO CHARACTER SET character_name [COLLATE ...]
如:ALTER TABLE logtest CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; 只是修改表的默认字符集: ALTER TABLE tbl_name DEFAULT CHARACTER SET character_name [COLLATE...];
如:ALTER TABLE logtest DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
参考链接:http://fatkun.com/2011/05/mysql-alter-charset.html
至此,爬虫脚本成功将中文数据写入至数据库。