ClownFish:比手写代码还快的通用数据访问层

http://www.cnblogs.com/fish-li/archive/2012/07/17/ClownFish.html

最近花了二个月的业余时间重写了我以前的通用数据访问层, 由于是重写,所以我给这个项目取了个新名字:ClownFish

如果需要了解ClownFish的使用方法,请点击ClownFish 使用说明

ClownFish是什么?

ClownFish 是我编写的一个通用数据访问层,设计它的目的是为了:
1. 方便在 .net 项目中执行数据访问任务。
2. 避免直接使用ADO.NET带来的一大堆高度类似的繁琐代码。
3. 提供出色的性能满足实际项目需要。

ClownFish 具有以下一些技术特色:
1. 高性能:比手写代码还快的执行速度。
2. 简单:执行查询、将查询结果转成实体列表、获取输出参数。 一个调用完成三个步骤。
3. 方便:提供专用的代码生成器,直接生成调用代码或者实体类型定义代码。
4. 通用:可以非常简单地实现对多种数据库的支持。
5. 灵活:支持存储过程,参数化SQL,或者将SQL语句保存在XML配置文件中。
6. 可监控:提供一个Profiler工具,让您可以随时了解详细的数据库访问情况。

ClownFish不仅继承了老版本的通用数据访问层的全部优点,
而且在高性能,方便性,灵活性,以及代码可读性方面有了更出色的设计。

在最新的版本中,ClownFish不仅仅只是一个通用数据访问层,
还提供了:专用的代码生成器,XmlCommand管理工具,Profiler工具,它们都会为ClownFish提供更多功能。

ClownFish 是一个可免费的数据访问组件,您可以把它应用在您的 .net 项目中,让它简化您的开发工作。

比手写代码还快的执行速度

提高性能是创建ClownFish项目的重要原因之一,这次优化的主要目标是:比手写代码还快的执行速度。

为了让您对ClownFish的性能留有较深刻的印象,下面我将通过一个实际案例来测试它的速度。

首先,我定义了一个实体类型:
ClownFish:比手写代码还快的通用数据访问层

定义这个实体类型,我关注的是它所包含的数据成员的数量,而不是那些数据成员的含义。
我认为这个类型的数据成员数量应该还是比较接近多数实际场景的。
下面再来看看如何从数据库中加载它们:
ClownFish:比手写代码还快的通用数据访问层

    public static class TestHelper
{
public static readonly string QueryText = @"
select top (@TopN) d.OrderID, d.OrderDate, d.SumMoney, d.Comment, d.Finished,
dt.ProductID, dt.UnitPrice, dt.Quantity,
p.ProductName, p.CategoryID, p.Unit, p.Remark,
c.CustomerID, c.CustomerName, c.ContactName, c.Address, c.PostalCode, c.Tel
from Orders d
inner join [Order Details] dt on d.OrderId = dt.OrderId
inner join Products p on dt.ProductId = p.ProductId
left join Customers c on d.CustomerId = c.CustomerId
"; public static List<OrderInfo> ExecuteQuery(SqlConnection conn, UiParameters uiParam)
{
SqlCommand command = new SqlCommand(QueryText, conn);
command.Parameters.Add("TopN", SqlDbType.Int).Value = uiParam.PageSize; List<OrderInfo> list = new List<OrderInfo>(uiParam.PageSize); using( SqlDataReader reader = command.ExecuteReader() ) {
while( reader.Read() )
list.Add(LoadOrderInfo(reader));
} return list;
} private static OrderInfo LoadOrderInfo(SqlDataReader reader)
{
OrderInfo info = new OrderInfo();
info.OrderID = (int)reader["OrderID"];
info.OrderDate = (DateTime)reader["OrderDate"];
info.SumMoney = (decimal)reader["SumMoney"];
info.Comment = (string)reader["Comment"];
info.Finished = (bool)reader["Finished"];
info.ProductID = (int)reader["ProductID"];
info.UnitPrice = (decimal)reader["UnitPrice"];
info.Quantity = (int)reader["Quantity"];
info.ProductName = (string)reader["ProductName"];
info.CategoryID = (int)reader["CategoryID"];
info.Unit = (string)reader["Unit"];
info.Remark = (string)reader["Remark"]; object customerId = reader["CustomerID"];
if( customerId != DBNull.Value ) {
info.CustomerID = (int)customerId;
info.CustomerName = (string)reader["CustomerName"];
info.ContactName = (string)reader["ContactName"];
info.Address = (string)reader["Address"];
info.PostalCode = (string)reader["PostalCode"];
info.Tel = (string)reader["Tel"];
}
return info;
}

代码中,首先定义了一个参数化的SQL查询语句,然后就是纯手工的ADO.NET代码,循环调用SqlDataReader.Read()方法,再从SqlDataReader中根据字段名称获取数据写入到实体对象的属性中。

这段代码够【手工化】吧? 由于这段代码没用使用反射代码,所以如果想追求性能,我想大家都会这样写。

在我的测试程序中,上面那段代码被下面这段代码调用: ClownFish:比手写代码还快的通用数据访问层

public interface IPerformanceTest : IDisposable
{
List<OrderInfo> Run();
} [TestMethod("手工代码,SQLSERVER", 1)]
public class Test_Adonet_ShareConnection : IPerformanceTest
{
private UiParameters uiParam;
private SqlConnection conn; public Test_Adonet_ShareConnection(UiParameters param)
{
this.uiParam = param;
this.conn = new SqlConnection(Program.ConnectionString);
this.conn.Open();
} public List<OrderInfo> Run()
{
return TestHelper.ExecuteQuery(conn, uiParam);
} public void Dispose()
{
conn.Dispose();
}
}

测试代码应该没有问题吧?

再来看一下使用ClownFish的等效测试代码:

[TestMethod("ClownFish,SQLSERVER", 2)]
public class Test_ClownFish_ShareConnection : IPerformanceTest
{
private UiParameters uiParam;
private ClownFish.DbContext db; public Test_ClownFish_ShareConnection(UiParameters param)
{
this.uiParam = param;
this.db = new ClownFish.DbContext(false);
} public List<OrderInfo> Run()
{
var parameter = new { TopN = uiParam.PageSize };
return ClownFish.DbHelper.FillList<OrderInfo>(
TestHelper.QueryText, parameter, db, ClownFish.CommandKind.SqlTextWithParams);
} public void Dispose()
{
db.Dispose();
}
}

比较这二段代码,不难看出:使用 ClownFish 所需的代码量要 少很多

如果我以下面的测试参数执行性能测试:

ClownFish:比手写代码还快的通用数据访问层

可以得到下面的测试结果:

ClownFish:比手写代码还快的通用数据访问层

图形反映的结果很直观:ClownFish 完成测试所需时间比手写代码要略快点。

或许有些人认为:快这么一点,意义不大!
但您想过没有:ClownFish PK的对象是【手工版的专用代码】啊!

其实这个测试并没有把 ClownFish 性能很好的体现出来,因为中间有SQLSERVER的执行时间,以及跨进程的调用开销。
这二个因素所花的成本影响了ClownFish的性能优势。

下面,我又做了一组测试:直接从DataTable中加载数据。
我之所以选择这个测试方法,是因为它也是一种常见的使用方案:
我们可以将原始导出到XML文件中,然后使用XML文件做离线数据,这样可以减少对数据库的访问压力。
老版本的通用数据访问层也一直支持这个功能,所以这次就选择了这个测试方法。
说明:实际使用时,我会从XML读出数据到DataTable,供后面使用(转成实体类型只是其中的一种使用数据的方式)。

在测试之前,我们来看一下手工代码是什么样的:
ClownFish:比手写代码还快的通用数据访问层

看到这个版本的LoadOrderInfo方法,您会有什么感觉?是不是很无奈?
没办法,ADO.NET就是这样设计的。写这样的代码会让人心烦(这是我的感受)!

测试调用代码:
ClownFish:比手写代码还快的通用数据访问层

测试代码应该没有问题吧?

再来看一下使用ClownFish的等效测试代码:

[TestMethod("ClownFish,DataTable", 6)]
public class Test_ClownFish_LoadDataTable : IPerformanceTest
{
public Test_ClownFish_LoadDataTable(UiParameters param) { }
public void Dispose() { } public List<OrderInfo> Run()
{
return ClownFish.DbHelper.FillListFromTable<OrderInfo>(TestHelper.GetOrderInfoTable());
}
}

使用 ClownFish 的代码仍然要短很多!

下面继续使用前面的测试参数来运行测试程序,得到以下测试结果:

ClownFish:比手写代码还快的通用数据访问层

Excel图形直观反映出 ClownFish 的速度要 比手工代码 快一倍 还不止。

看完这二个测试,ClownFish 有没有给您留下二个印象?
1. 代码量很少。
2. 性能很好。

简单,一个调用完成你要的全部功能

调用下面这个存储过程,您需要多少行C#代码?

create procedure InsertProduct(
@ProductName nvarchar(50),
@CategoryID int,
@Unit nvarchar(10),
@UnitPrice money,
@Quantity int,
@Remark nvarchar(max),
@ProductID int output
)
as
begin insert into Products (ProductName, CategoryID, Unit, UnitPrice, Quantity, Remark)
values( @ProductName, @CategoryID, @Unit, @UnitPrice, @Quantity, @Remark); set @ProductID = scope_identity(); end

在这里,我不想再想写那种手工版本的ADO.NET代码,我懒得写。

来看一下我从示例代码中摘选出来的调用代码吧:

Product product = CreateTestProduct();

// 插入一条新记录
DbHelper.ExecuteNonQuery("InsertProduct", product);
sb.AppendFormat("InsertProduct OK, ProductId is : {0}\r\n", product.ProductID);

看到了吧,其实只有一行代码(中间那行)。

再来看一个有分页的吧: ClownFish:比手写代码还快的通用数据访问层

相应的调用代码:

// 查询一个分页列表
var parameters = new GetProductByCategoryIdParameters {
CategoryID = 1,
PageIndex = 0,
PageSize = 3,
TotalRecords = 0
};
List<Product> list = DbHelper.FillList<Product>("GetProductByCategoryId", parameters); sb.AppendFormat("存在 {0} 条符合条件的记录。条件:CategoryID = {1}\r\n",
parameters.TotalRecords, parameters.CategoryID);

还是 一个调用 就能完成全部的数据库访问工作。

老版本的通用数据访问层有这样一个设计目标:
调用存储过程,不管输入参数多么复杂,不管有多少输出参数,包含转换结果集到实体列表,只需要一行C#代码。

这一优点在ClownFish中得到了继承:简单,一个调用完成你要的全部功能。

方便,你需要的代码已经准备好了

看到前面的那段演示代码,你会不会想:我还要定义一个GetProductByCategoryIdParameters类型啊,太麻烦了!

真是那样吗? 请看下面的截图:

ClownFish:比手写代码还快的通用数据访问层

注意:ClownFish并非仅仅支持存储过程,后面将要介绍的XmlCommand也有同样好的支持。

在工具中,不仅可以直接查看存储过程代码,还能生成调用代码。
工具生成二个调用代码,你可以选择其中的一个(因为我不知道你需要哪个)。

说明:调用GetProductByCategoryId需要定义一个类型是因为它包含了输出参数,如果没有输出参数,工具会生成匿名类型:

ClownFish:比手写代码还快的通用数据访问层

接下来的事情我想大家都知道该怎么做:把工具生成的代码COPY到项目中,修改一下调用参数就好了。

定义数据实体类型不再是费力的体力劳动

对于喜欢使用数据实体类型的人来说,手工定义这些类型是件费力且枯燥的体力劳动。
现在好了,ClownFish 的生成器可以减轻你的工作负担:

ClownFish:比手写代码还快的通用数据访问层

还记得本文一开始的那个OrderInfo类型吗,它是根据一个查询语句生成的:

ClownFish:比手写代码还快的通用数据访问层

说明:根据查询生成的类型,工具不知道如何命名,需要你在使用时改名。

ClownFish 不仅仅能生成数据实体类型,还能生成对应的增删改命令及其对应的命令参数:

ClownFish:比手写代码还快的通用数据访问层

这里涉及到另一个名词:XmlCommand。它是什么,我后面再说。
这个截图是想告诉你:以后不必再为增删改命令以及那些命令参数烦恼了。
执行图片中那个菜单操作,然后再到ClownFish的另一个辅助工具(XmlCommandTool)去粘贴就可以了。

通用,可以非常简单地实现对多种数据库的支持

ClownFish已经从前辈版本中继承了对多数据库种类的支持。
本文的结尾处,我提供了可供下载的完整示例,其中就包含有:SQLSERVER, MySql, ACCESS的示例代码。
以下是其中一个示例的截图:

ClownFish:比手写代码还快的通用数据访问层

ClownFish 支持多种数据库的原因在于:
ClownFish 在内部使用了DbConnection, DbCommand, DbTransaction这些抽象类型。
ClownFish 提供的API是不区分数据库种类的,您在注册连接时,指定什么类型,就是什么类型。

因此,如果您使用存储过程,或者XmlCommand的话,完全可以做到:一份C#代码同时支持多种数据库的。

灵活,SQL语句放在哪里随便你

对于数据库的访问方式目前有以下5种方案:
1. 有些人喜欢使用存储过程。
2. 有些人不喜欢存储过程也不喜欢把SQL语句放在C#代码中。
3. 有些人会在C#中嵌入参数化的SQL语句。
4. 有些人就是喜欢在C#代码中拼接SQL语句。
5. 还有些人不写SQL语句而在使用ORM工具。
当然了,还有些人同时混合使用多种方案。
我不知道您属于哪一类,如果是最后一类,那么我只能说:ClownFish不适合你。
除此之外,ClownFish完全可以满足您的需要。

对于前4类方式,ClownFish在内部定义一个枚举来表示:

/// <summary>
/// 表示要执行什么类型的命令
/// </summary>
public enum CommandKind
{
/// <summary>
/// 表示要执行一个存储过程或者是一个XmlCommand
/// </summary>
SpOrXml,
/// <summary>
/// 表示要执行一个存储过程
/// </summary>
StoreProcedure,
/// <summary>
/// 表示要执行一个XmlCommand
/// </summary>
XmlCommand,
/// <summary>
/// 表示要执行一条没有参数的SQL语句
/// </summary>
SqlTextNoParams,
/// <summary>
/// 表示要执行一条包含参数的SQL语句
/// </summary>
SqlTextWithParams
}

ClownFish提供了一个工具类:DbHelper,可以让您方便地访问数据库, 它的许多数据库访问方法可以指定一个CommandKind枚举表示要执行的命令类型:

public static class DbHelper
{
public static int ExecuteNonQuery(
string nameOrSql, object inputParams); public static int ExecuteNonQuery(
string nameOrSql, object inputParams, CommandKind cmdKind); public static int ExecuteNonQuery(
string nameOrSql, object inputParams, DbContext dbContext); public static int ExecuteNonQuery(
string nameOrSql, object inputParams, DbContext dbContext, CommandKind cmdKind); // 其它的数据库访问方法就不一一列出了,可以查阅API文档。
}

DbHelper的所有数据库访问方法都提供与以上类似的4个重载方法。
那些方法中,第一个参数可以传入一个SQL语句,或者一个存储过程的名字,或者一个XmlCommand的名称。
参数 cmdKind 的意义就是解释第一个参数的含义。

XmlCommand是什么?

前面已经多次提到了XmlCommand,这里来解释一下XmlCommand是什么。

上一小节中的那些数据访问方法中,有一类较为特殊:不使用存储过程,也不把SQL语句混在C#代码中。
对于这种方案,就需要把SQL语句放在配置文件中。

或许有些人知道:我是喜欢用存储过程的。我之所以喜欢存储过程,是因为存储过程的代码与项目代码是独立的,
我可以单独修改存储过程。而且,我还喜欢参数化的查询,反对使用拼接SQL语句。
我认为我是将数据库做为我的SQL语句保存容器在使用,存储过程只是这一种方式而已(因为它有参数管理功能)。

除了存储过程之外,使用配置文件也能完成同样功能:1. SQL语句的保存容器,2. 提供参数管理功能。

虽然ClownFish前辈版本也可以支持这种方案,
但是却没有定义一种配置文件的存放格式,
因此,需要自己设计配置文件格式,以及提供自己的简化包装方法。
对于这种方案来说,本身是没有任何技术难度的,只是需要定义一种配置文件的存放格式。
现在,ClownFish已经正式提供这种支持,并提供了一个管理工具。

我把保存在配置文件中的SQL语句称为 XmlCommand ,一个XML文件中可以保存多个XmlCommand,
每个XmlCommand都有一个名称以便在运行时区分。下面是一个XmlCommand的代码片段:

    <XmlCommand Name="UpdateProduct">
<Parameters>
<Parameter Name="@ProductName" Type="String" Size="50" />
<Parameter Name="@CategoryID" Type="Int32" />
<Parameter Name="@Unit" Type="String" Size="10" />
<Parameter Name="@UnitPrice" Type="Currency" />
<Parameter Name="@Quantity" Type="Int32" />
<Parameter Name="@Remark" Type="String" Size="-1" />
<Parameter Name="@ProductID" Type="Int32" />
</Parameters>
<CommandText><![CDATA[
update Products
set ProductName = @ProductName,
CategoryID = @CategoryID,
Unit = @Unit,
UnitPrice = @UnitPrice,
Quantity = @Quantity,
Remark = @Remark
where ProductID = @ProductID;
]]></CommandText>
</XmlCommand>

看到这段代码,您会不会想:维护它们是不是很麻烦?

其实不是的,ClownFish提供了一个工具,可以轻松地管理它们:

ClownFish:比手写代码还快的通用数据访问层

ClownFish:比手写代码还快的通用数据访问层

在这个对话框中,每个XmlCommand的属性都提供了控件编辑功能,完全不需要手工维护那段XML文本。

双击某个XmlCommand节点,还可以查看调用代码:

ClownFish:比手写代码还快的通用数据访问层

工具生成的调用代码会告诉你那个XmlCommnad有多少个参数,您根本不用记住它们。

还有一点:
XmlCommand的XML文件可以是多个,可以按照不同的业务逻辑来组织它们,例如:

ClownFish:比手写代码还快的通用数据访问层

对于一个ASP.NET项目来说,ClownFish 还会监视这个已加载的目录,如果目录中的配置文件有修改,会自动重新加载。

可监控,图形的工具会告诉你每个数据访问的细节

由于ClownFish是个数据访问层,因此,它知道每次执行数据库操作的所有信息。
所以,我提供了一个监控工具,用于查看解详细的数据库访问情况。

ClownFish:比手写代码还快的通用数据访问层

上图反映了在执行MySql,Access的访问情况。

ClownFish:比手写代码还快的通用数据访问层

上图反映了事务的执行情况,以及某个语句执行失败的情况。

根据工具窗口,我们可以直观的查看到每个连接中执行了多少次命令,
它们是否属于同一个事务,它们的类型是存储过程,XmlCommand,SQL语句,全都一目了然。
而且,还可以知道每个命令的执行参数是什么:

ClownFish:比手写代码还快的通用数据访问层

或许有些人看了这个工具后,会认为它是多余的,他总认为有个【SQL Server Profiler】,其它的东西都是没有意义的。
我不知道他有没有想过:
用SQL Server Profiler去监视一个局域网的SQL Server实例,你还能分辨哪些操作是由你引发的吗??

我的工具则不同,它是配合我的数据访问层一起工作的,由我的数据访问层告诉工具当前用户触发了什么数据库的操作。
因此在分析本机程序访问数据库时,可以很直观的知道:
您的某个操作引发了什么样的数据库调用,以及调用的各种细节参数。

更何况我的工具不止针对SQL Server有效,理论上,.net支持的,我的数据访问层应该都支持。
前面也说了,它是配合我的数据访问层一起工作的,
所以,只要是使用ClownFish哪怕是访问Access数据库,也能有这样的监控效果。(前面有图片证明)

关于示例代码

为了能让更多的人选择ClownFish,这次我为大家准备了大量的示例代码。

ClownFish:比手写代码还快的通用数据访问层

1. ClownFishDEMO是一个综合示例,网站型项目。运行效果图:

ClownFish:比手写代码还快的通用数据访问层

2. MultiAccountDEMO是一个多帐套的演示网站。演示了一套代码处理多帐套的功能。

3. PerformanceTestApp是前面介绍的性能测试项目,你也可以将其它的数据访问层加入其中,一起做性能测试。

不仅仅是以上三个项目演示了如何使用ClownFish
我还为以前的 MyMVC框架 的示例程序增加了数据库访问功能(以前只支持XML文件)。
现在,MyMVC框架 的演示程序也能通过ClownFish来访问SQLSERVER。
可以修改 MyMVC框架 演示网站中的web.config来切换数据访问方法:

<appSettings>
<!--DataSoureceKind 表示不同的数据访问方式,目前支持三个可选的配置值(注意大小写):
1. XmlFile ,表示使用XML文件中的数据,此选项为默认值。
2. XmlCommand ,表示使用配置文件中的SQL命令去访问SQLSERVER
3. StoreProcedure ,表示调用SQLSERVER中的存储过程去访问数据库
你可以修改下面的配置,并结合ClownFishSQLProfiler.exe工具去观察它们的差别。
-->
<add key="DataSoureceKind" value="XmlFile" />
</appSettings>

考虑到有些人在配置SQLSERVER时,会遇到一些问题,MyMVC框架的演示程序仍然默认使用XML文件,而不是SQLSERVER数据库。

但是,由于ClownFish是一个数据访问层,它的示例只能访问数据库了。
如果不知道如何配置示例,
请参考我的博客:如何在IIS6,7中部署ASP.NET网站

还有一件让我忧虑的事情:示例中还演示了 MySql的访问!
我建议:如果你平时不使用MySql,那么就跳过示例中的MySql演示部分吧。

最后建议:在下载示例代码后,首先打开 Readme.txt 文件看一下,谢谢!

如果需要了解ClownFish的使用方法,请点击ClownFish 使用说明

点击此处下载示例代码(ClownFishDEMO)

点击此处下载示例代码(MyMVC)

上一篇:location.href 跳转之后,原来位置下面的代码还会继续执行


下一篇:计算机存储单位KB,MB,GB,TB,PB,EB,ZB,YB后面是什么?