(转)SqlBulkCopy批量复制数据

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而 在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关 系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数 据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

首先:web.config

(转)SqlBulkCopy批量复制数据 <connectionStrings>
(转)SqlBulkCopy批量复制数据    <add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
(转)SqlBulkCopy批量复制数据    <add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
(转)SqlBulkCopy批量复制数据  </connectionStrings>

C#文件: 前台不Copy了,就一个按钮,一个Label

(转)SqlBulkCopy批量复制数据using System;
(转)SqlBulkCopy批量复制数据using System.Data;
(转)SqlBulkCopy批量复制数据using System.Configuration;
(转)SqlBulkCopy批量复制数据using System.Collections;
(转)SqlBulkCopy批量复制数据using System.Web;
(转)SqlBulkCopy批量复制数据using System.Web.Security;
(转)SqlBulkCopy批量复制数据using System.Web.UI;
(转)SqlBulkCopy批量复制数据using System.Web.UI.WebControls;
(转)SqlBulkCopy批量复制数据using System.Web.UI.WebControls.WebParts;
(转)SqlBulkCopy批量复制数据using System.Web.UI.HtmlControls;
(转)SqlBulkCopy批量复制数据using System.Data.SqlClient;
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据public partial class ASP_NET : System.Web.UI.Page
(转)SqlBulkCopy批量复制数据{
(转)SqlBulkCopy批量复制数据    private DateTime startTime;
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据    protected void Button1_Click(object sender, EventArgs e)
(转)SqlBulkCopy批量复制数据    {
(转)SqlBulkCopy批量复制数据        startTime = DateTime.Now;
(转)SqlBulkCopy批量复制数据        string srcConnString = "";
(转)SqlBulkCopy批量复制数据        string desConnString = "";
(转)SqlBulkCopy批量复制数据        SqlConnection srcConnection = new SqlConnection();
(转)SqlBulkCopy批量复制数据        SqlConnection desConnection = new SqlConnection();
(转)SqlBulkCopy批量复制数据        SqlCommand sqlcmd = new SqlCommand();
(转)SqlBulkCopy批量复制数据        SqlDataAdapter da = new SqlDataAdapter();
(转)SqlBulkCopy批量复制数据        DataTable dt = new DataTable();
(转)SqlBulkCopy批量复制数据        //srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
(转)SqlBulkCopy批量复制数据        desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
(转)SqlBulkCopy批量复制数据        //srcConnection.ConnectionString = srcConnString;
(转)SqlBulkCopy批量复制数据        srcConnection.ConnectionString = desConnString;
(转)SqlBulkCopy批量复制数据        sqlcmd.Connection = srcConnection;
(转)SqlBulkCopy批量复制数据        //sqlcmd.CommandText = "select * from jobs";
(转)SqlBulkCopy批量复制数据        sqlcmd.CommandText = "select * from abc";
(转)SqlBulkCopy批量复制数据        sqlcmd.CommandType = CommandType.Text;
(转)SqlBulkCopy批量复制数据        sqlcmd.Connection.Open();
(转)SqlBulkCopy批量复制数据        da.SelectCommand = sqlcmd;
(转)SqlBulkCopy批量复制数据        da.Fill(dt);
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据        SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
(转)SqlBulkCopy批量复制数据        sbc.BulkCopyTimeout = 5000;
(转)SqlBulkCopy批量复制数据        sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
(转)SqlBulkCopy批量复制数据        sbc.NotifyAfter = dt.Rows.Count;
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据        try
(转)SqlBulkCopy批量复制数据        {
(转)SqlBulkCopy批量复制数据           // sbc.DestinationTableName = "jobs";
(转)SqlBulkCopy批量复制数据            sbc.DestinationTableName = "bcd";
(转)SqlBulkCopy批量复制数据            sbc.WriteToServer(dt);
(转)SqlBulkCopy批量复制数据        }
(转)SqlBulkCopy批量复制数据        catch (Exception ex)
(转)SqlBulkCopy批量复制数据        {
(转)SqlBulkCopy批量复制数据            lblCounter.Text = ex.Message.ToString();
(转)SqlBulkCopy批量复制数据        }
(转)SqlBulkCopy批量复制数据        finally
(转)SqlBulkCopy批量复制数据        {
(转)SqlBulkCopy批量复制数据            sqlcmd.Clone();
(转)SqlBulkCopy批量复制数据            srcConnection.Close();
(转)SqlBulkCopy批量复制数据            desConnection.Close();
(转)SqlBulkCopy批量复制数据            
(转)SqlBulkCopy批量复制数据        }
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据    }
(转)SqlBulkCopy批量复制数据    private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
(转)SqlBulkCopy批量复制数据    {
(转)SqlBulkCopy批量复制数据        lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";
(转)SqlBulkCopy批量复制数据        TimeSpan copyTime = DateTime.Now - startTime;
(转)SqlBulkCopy批量复制数据        lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
(转)SqlBulkCopy批量复制数据    }
(转)SqlBulkCopy批量复制数据}
(转)SqlBulkCopy批量复制数据

代码分析:

(转)SqlBulkCopy批量复制数据SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
(转)SqlBulkCopy批量复制数据先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。
(转)SqlBulkCopy批量复制数据

sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

(转)SqlBulkCopy批量复制数据 sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
(转)SqlBulkCopy批量复制数据  sbc.NotifyAfter = dt.Rows.Count;
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据        try
(转)SqlBulkCopy批量复制数据        {
(转)SqlBulkCopy批量复制数据           // sbc.DestinationTableName = "jobs";
(转)SqlBulkCopy批量复制数据            sbc.DestinationTableName = "bcd";
(转)SqlBulkCopy批量复制数据            sbc.WriteToServer(dt);
(转)SqlBulkCopy批量复制数据        }
(转)SqlBulkCopy批量复制数据NotifyAfter 属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性,也就是目标数据库的表名,
(转)SqlBulkCopy批量复制数据

性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习

(转)SqlBulkCopy批量复制数据create table abc
(转)SqlBulkCopy批量复制数据(
(转)SqlBulkCopy批量复制数据  aid int identity(1,1) primary key,
(转)SqlBulkCopy批量复制数据  adesc varchar(50) not null
(转)SqlBulkCopy批量复制数据)
(转)SqlBulkCopy批量复制数据go
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据/**********存储过程**********************/
(转)SqlBulkCopy批量复制数据create proc addData
(转)SqlBulkCopy批量复制数据as
(转)SqlBulkCopy批量复制数据declare @i int
(转)SqlBulkCopy批量复制数据set @i=1
(转)SqlBulkCopy批量复制数据while @i < 1000000
(转)SqlBulkCopy批量复制数据begin
(转)SqlBulkCopy批量复制数据insert into abc values ('testDescription')
(转)SqlBulkCopy批量复制数据set @i = @i + 1
(转)SqlBulkCopy批量复制数据end
(转)SqlBulkCopy批量复制数据go
(转)SqlBulkCopy批量复制数据
(转)SqlBulkCopy批量复制数据select * into titles from pubs.dbo.titles where  1> 3 复制跨数据库的表结构

转自http://blog.csdn.net/huaer1011/archive/2008/04/21/2312361.aspx

oracle 中也有对应的sqlbulkcopy方法不过不是在.net 自带的System.Data.SqlClient.dll中,而是需要安装oracle11g中的Oracle.DataAccess.dll中才有OracleBulkCopy方法,需要的时候可以尝试下。

安装了Oracle之后,都会安装上它提供的.net  Provider .主要是在Oracle.DataAccess.dll这个动态库中。虽然说微软在.net框架中自带了一个System.Data.OracleClient.dll,不过我觉得功能上面远没有oracle自己提供的功能多。就拿我最近的一个需求来说的话,大量数据往Oracle中写入,还可能涉及到插入或者更新的问题。之前微软在System.Data.SqlClient.dll中为写Sql server提供了一个很方便的方法—SqlBulkCopy.之前还郁闷为什么没有写oracle的SqlBulkCopy,现在终于让我在Oracle.DataAccess.dll这里找到这个方法了--OracleBulkCopy。哈哈,有了这2个方法,以后在数据交换方面应该是很方便的了。至少在写SQL Server和Oracle中是有了比较高效率的方法了。待会来做个实验试一下。

PS:发现是oracle11g中的Oracle.DataAccess.dll中才有OracleBulkCopy。好像10g中的都没有。不知道是不是只能在装了11g的Oracle中用。待会看看测试情况就知道了。

经过测试,确实是只能在安装了11g的机子上面使用。我安装的是10G的,结果运行的时候就报出一个The provider is not compatible with the version of Oracle client. 明显就是版本不匹配,不知道有没有什么办法解决,正在寻找中。

现在在win7下面用兼容模式装上了oracle10g,没办法测试这个了,等下次安装个11G了再来测试一下这个的性能。

上一篇:第四十六课:MVC和MVVM的开发区别


下一篇:Java 死锁