在C#应用程序中,利用表值参数过滤重复,批量向数据库导入数据,并且返回重复数据

  在很多情况下,应用程序都需要实现excel数据导入功能,数据如果只有几十条,或上百条,甚至上千条,速度还好。

  但是不仅如此,如果客户提供给你的excel本身存在着重复数据,或是excel中的某些数据已经在数据库存在,那这时,在向数据库插入数据前你还得判重,如果不存在才进行导入

通常,我们第一步就会通过上传的方式把excel中的数据读到内存,然后通过循环的方式得出一条一条数据,接着对于每条数据用关键字段去往数据库中进行一次查重,若存在则不做事情,若

不存在则向数据库中插入一条数据。这样一来,我们每一条数据都会与数据库打两次交道,众所周知,每连接一次数据库那是需要时间的,次数一多相当影响性能。若是成千上万条数据的话,可

想而知,这个导入过程会有多慢,尤其是Web应用程序,很有可能在我的请求还没执行完,突然程序就被终止了。

当然,还有个办法,就是拼SQL,每循环一条数据,首先判断,若不重复,我写一条SQL语句保存在某个变量中,直到循环到最后一条,可能会拼出多条Insert语句,最后送到数据库一次执

行,但是大家有没有想过,一旦数据量过大,几万,或几十万条数据拼成的字符串可想而知会有多长,送到数据库就会有被截断的可能。更何况还是逃离不了每次都要查询重复的惨况。

  一般来说,SQL语句离数据库端越近,执行效率越高,有没有可能,我把所要插入的数据集合一次性送给数据库,让判断重复,插入,返回重复数据的工作统统由数据库来执行呢?这样我只

要与数据库打一次交道,等待数据库给我结果就行。那么接下来就是我要讲到的利用表值参数来完成这一功能。

  由于为了讲述,例子中的表都比较简单

  1.首先我们来创建一张表(建库的过程在这里我就不说明了,为了大家看得清晰,尽量去除了无关的脚本行)

 CREATE TABLE [dbo].[BulkTestTable](
[Id] [int] NOT NULL,
[UserName] [nvarchar](32) NULL,
[Pwd] [varchar](16) NULL,
PRIMARY KEY CLUSTERED
(
[Id] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY] GO

2.创建表值类型

 USE [BulkTestDB]
GO /****** Object: UserDefinedTableType [dbo].[BulkTestTableType] Script Date: 07/08/2015 16:04:38 ******/
CREATE TYPE [dbo].[BulkTestTableType] AS TABLE(
[Id] [int] NULL,
[UserName] [nvarchar](32) NULL,
[Pwd] [varchar](16) NULL
)
GO

3.写批量插入的存储过程

 CREATE procedure [dbo].[usp_BulkTestTable_Import] 
(@paratable as BulkTestTableType readonly) --此处的BulkTestTableType就是上面所定义的表类型,实际不用对它进行操作,只需要在程序中传入一个表给它,然后从它里面进行读取 AS
 Insert INTO dbo.BulkTestTable(Id,UserName,Pwd) 
select * from @paratable A
WHERE Not EXISTS(select B.Id from BulkTestTable B WHERE B.Id=A.Id) 7 SELECT * from @paratable A WHERE EXISTS (select B.Id from BulkTestTable B WHERE B.Id=A.Id) --查询出重复的记录
GO

在这里,我的Id不是自动增长的,仅仅是主键而已,所以这里通过Id来判断记录是否唯一或重复

接下来在C#代码里面写一个导入方法,调用这个存储过程。

这里的参数dt就是我们导入excel时生成的DataTable,这个DataTable的表结构也就是列要与我们定义的表值“BulkTestTableType”结构相同,返回值就是我们所要的重复记录
  public static DataSet BatchInsert(DataTable dt)
{
SqlParameter parameter = new SqlParameter("@paratable",dt);
parameter.SqlDbType = SqlDbType.Structured;
parameter.TypeName = "BulkTestTableType";
//这里的类型名称应与我们定义的表值名称相同 SqlParameter[] sqlParameters = new SqlParameter[] { parameter }; return SqlHelper.RunProcedure(CommandType.StoredProcedure, "usp_BulkTestTable_Import", sqlParameters);
 }

以上就是完整的代码,当然,怎么在内存中创建表,怎么写数据库访问方法我这里就不说明了,大家都知道。小白写文章,大家共同交流,勿喷

上一篇:Linux 之 FTP服务器搭建


下一篇:[ html canvas globalCompositeOperation ] canvas绘图属性 设置合成图像如何显示 属性演示