程序的目的是把文本里面的数据存储到数据库中，原来的思路是读一条，插入一条，结果就是时间长的不得了。。。18万条的数据，真是慢。
后来的想法是把所有的记录都读到一个list里，结果是mysql奔溃go away，毕竟18万条，太多了。
再后来的想法就是满1000条进行一次插入，O(∩_∩)O哈哈~，效果不错，mysql没崩溃，效率提高了好几个量级。
import MySQLdb import codecs def FileToDatabase(file): conn = MySQLdb.connect(host=‘yourhost‘,user=‘username‘,passwd=‘yourpwd‘,db=‘yourdb‘) curs = conn.cursor() fp = codecs.open(file,‘r‘,‘gb2312‘)//文本编码是gb2312，所以以此方式打开 i = 0 L = [] for eachline in fp: i = i + 1 list = newline.split(‘,‘) L.append(list) if i % 1000 == 0:#满1000插入数据库 #try:#当插入的字段并非table的全部字段时，要指定插入的字段及顺序与value内的值一致 curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L) conn.commit()#没有提交的话，无法插入 L = [] #except: conn.rollback print ‘No.:‘+str(i) #print newline fp.close() #try:#将剩余插入数据库 curs.executemany("insert into season1(word1,word2,word3,word4) values(%s,%s,%s,%s)",L) conn.commit() #except: conn.rollback() conn.close()
对于数据库的rollback还是不太理解，以后有机会再深入了解吧