Python – 批量选择然后从一个DB插入到另一个DB

我正在寻找一些关于如何使用sqlite3在Python中执行此操作的帮助

基本上我有一个下载DB(temp)然后需要将它的记录插入第二个相同的DB(主数据库)的进程..同时忽略/绕过任何可能的重复键错误

我在考虑两个场景,但我不确定如何在Python中做到这一点

选项1:

>创建2个连接和光标对象,每个数据库1个
>从DB 1中选择,例如:

dbcur.executemany('SELECT * from table1')
rows = dbcur.fetchall()

>将它们插入DB 2:

dbcur.execute('INSERT INTO table1 VALUES (:column1, :column2)', rows)
dbcon.commit()

这当然不起作用,因为我不确定如何正确地做到:)

选项2(我更喜欢,但不知道该怎么做):

>在1个语句中选择和插入

另外,我在DB中有4个表,每个表都有不同的列,我可以跳过命名INSERT语句中的列吗?

就重复键而言,我已经阅读过我可以使用’ON DUPLICATE KEY’来处理
例如.

INSERT INTO table1 VALUES (:column1, :column2) ON DUPLICATE KEY UPDATE set column1=column1

解决方法:

您可以将ATTACH两个数据库连接到同一个连接,代码如下:

import sqlite3
connection = sqlite3.connect('/path/to/temp.sqlite')
cursor=connection.cursor()
cursor.execute('ATTACH "/path/to/main.sqlite" AS master')

在MySQL中,sqlite中没有ON DUPLICATE KEY语法. This SO question包含替代品.

因此,要在一个sql语句中执行批量插入,可以使用类似的东西

cursor.execute('INSERT OR REPLACE INTO master.table1 SELECT * FROM table1')

请参阅this page for information about REPLACE和其他ON CONFLICT选项.

上一篇:php – 从巨大阵列插入批量MySql:优化问题


下一篇:elasticsearch使用python创建或更新文档