SQLite介绍、学习笔记、性能测试

哪些人,哪些公司或软件在用SQLite:

Nokia's Symbian,Mozilla,Abobe,Google,阿里旺旺,飞信,Chrome,FireFox
可见SQLite的稳定性及性能是不会有什么问题的,详细列表请参见:http://www.sqlite.org/famous.html

网上关于SQLite的介绍一抓一大把,总结起来,他有如下特点:

SQLite优点及适应场合:

轻量级
绿色组件
单一文件
跨平台
查询效率极高
使用事务插入速度极快
支持limit分页
适合查询速度要求较高,内存占用较少的场合,尤其是嵌入式操作系统,如各种手机操作系统,低并发web(99.9%网站是低并发),php环境里原生支持SQLite,asp.net/.net winform里可以很方便的使用System.Data.SQLite

缺点与不适应场合:

不适合并发性高的场合 如大量insert,update访问,SQL标准支持不全

SQLite vs Access

SQLite官方网站没有与Access对比的说明,我觉得应该是:SQLite是开源的,单文件,不仅可以运行在Windows上,也可以运行在各种Linux系统上,而他的很多场合跟Access是不同的,他的优势足以站在一个比Access更高的位置,所以没有可比性,但我们普通人拿Access跟SQLite比,是因为他们交集的地方,关系到我们取舍。

交集处有:windows系统里web/winform,

在我的测试中
一次插入5行及以上,每行有20来个字符,SQLite使用事务速度远快于access
一次插入多行,每行有8000以上字符,SQLite使用事务速度 快于 access 一倍左右
SQLite查询速度极快,甚至快过SQL Server 2008 r2 10倍(因为MSSQL索引列不能超过900个字符,所以varchar(max)不能建索引)
单条数据插入速度比Access略慢,事务插入大量数据,在每行数据量不大时,远快于Access
Access经常出现数据库坏的情况,SQLite听说没有这个问题。

SQLite极速Select测试

同样的数据,同样的SQL语句:
SELECT * FROM dbo.Articles WHERE txtContent LIKE '%柳永法%'
在SQLite及MSSQL上执行效率让人震撼,SQLite竟然快MSSQL 10倍,
并且SQLite没有进程只看到程序进程内存没有任何升高,而MSSQL的进程则从1G多升到了3G多

数据库 条数 查询用时
SQLite 118848 60s
MSSQL 118848 540s
     
SQLite 7428 6s
MSSQL 7428 60s

关于SQLite多线程及ASP.net并发测试

  1. //Winform 1000个线程同时操作,仅cpu占用很高外,数据正常插入,没有使用Lock
  2. ThreadPool.SetMinThreads(1000, 1000);
  3. ThreadPool.SetMaxThreads(1000, 1000);
  4. for (int i = 0; i < 1000; i++)
  5. {
  6. ThreadPool.QueueUserWorkItem((obj) =>
  7. {
  8. SQLiteParameter[] parms ={
  9. new SQLiteParameter("@txtTitle", "标题"+obj),
  10. new SQLiteParameter("@txtContent", "内容可以大于8000"+obj+new string('=',8000+1000)),
  11. new SQLiteParameter("@Adder", "添加人"+obj),
  12. new SQLiteParameter("@AddTime", DateTime.Now),
  13. new SQLiteParameter("@DeptId", 1),
  14. };
  15. SQLiteHelper.ExecuteNonQuery(SQLiteConnectionString, CommandType.Text, @"
  16. insert into Articles(txtTitle,txtContent,Adder,AddTime,DeptId) values (@txtTitle,@txtContent,@Adder,@AddTime,@DeptId)
  17. ", parms);
  18. }, i);
  19. }

ASP.net使用Microsoft Web Application Stress Tool进行1000个线程的压力测试1分钟,使用Elmah.dll记录错误,测试后没发现程序报错,也只是很占CPU而已

通过本人测试,SQLite也应该算是比较适合高并发,及多线程,但官方说不适合,不知道是不是我测试方法不对

SQLite资源地址:

SQLite的官方主页:
http://www.sqlite.org/

SQLite中文站:
http://www.sqlite.com.cn/

System.Data.SQLite:
http://sqlite.phxsoftware.com/

sql学习笔记之 嵌入式数据库(sqlite,firebird)
http://www.cnblogs.com/ljzforever/archive/2010/03/09/1681453.html

SQLite GUI图形管理工具:

SQLite Expert(可选数据库编码,支持原生配置各种参数,软件更新速度极快,一天一个或多个版本,经试用,发现还有很多不完善的地方):
http://www.sqliteexpert.com/download.html

Navicat for SQLite(导入,导出功能强大,功能实用,操作直观,有些小缺陷,更新速度还行):
http://www.navicat.com/en/download/download.html

SQLite Administrator(古老,但还是有很多人觉得不错,编码支持不强,可能乱码):
http://sqliteadmin.orbmu2k.de/

FireFox管理SQLite的插件 SQLite Manager(没多使用。看起来不错):
https://addons.mozilla.org/en-US/firefox/addon/5817/

SQLite参考资料:

开源有感系列 之开源数据库有感[新内容添加版本]:
http://www.cnblogs.com/unruledboy/archive/2005/02/04/98604.html

到底SQLite有多强?在我的2台机器上的压力测试:
http://www.cnblogs.com/unruledboy/archive/2005/03/26/sqliteperformance.html

Access和Firebird及SQLite的性能比较
http://www.cnblogs.com/kevin-moon/archive/2008/12/01/1344658.html
http://www.cnblogs.com/Kevin-moon/archive/2008/11/14/1333285.html

浅谈SQLite——实现与应用:
http://www.cnblogs.com/hustcat/archive/2010/01/27/1657821.html

SQLite数据库是中小站点CMS的最佳选择:
http://www.dbanotes.net/database/sqlite_cms.html

SQLite的局限性:
http://dev.firnow.com/course/7_databases/sql/sqlServer/200838/103309.html

sqlite常见问题:
http://dev.firnow.com/course/7_databases/sql/sqlServer/200838/103310.html

MySQL大战SQLite(PostgreSQL强势乱入):http://obmem.com/?p=493


★SQLite技术上的优点和特性

  SQLite是一个轻量级、跨平台的关系型数据库。既然号称关系型数据库,支持SQL92标准中常用的玩意儿(比如视图、事务、触发器等)就是理所当然的了,咱今天就不细说了。今天主要聊聊一些有点特色的玩意儿。

  ◇轻量级
  先说它的第一个特色:轻量级。想必SQLite的作者很看重这个特性,连它的Logo都是用的“羽毛”,来显摆它的轻飘飘。
SQLite和C/S模式的数据库软件不同,它是进程内的数据库引擎,因此不存在数据库的客户端和服务器。使用SQLite一般只需要带上它的一个动态库,就可以享受它的全部功能。而且那个动态库的尺寸也挺小,3.6.27版本也就几百K

  ◇绿色软件
SQLite的另外一个特点是绿色:它的核心引擎本身不依赖第三方的软件,使用它也不需要“安装环境”(如:Oledb等)。所以在部署的时候能够省去不少麻烦。

  ◇单一文件
所谓的“单一文件”,就是数据库中所有的信息(比如表、视图、触发器、等)都包含在一个文件内。这个文件可以copy到其它目录或其它机器上,也照用不误。

  ◇跨平台/可移植性
  如果光支持主流操作系统(Windows,Linux),那就没啥好吹嘘的了。除了主流操作系统,SQLite还支持了很多小型嵌入式系统,比如Android、Windows Mobile、Symbin、Palm、VxWorks等,也就是说iPhone,Android等手机上都可以用。

  ◇内存数据库(in-memory database)
这年头,内存越来越便宜,很多普通PC都开始以GB为单位来衡量内存(服务器就更甭提了)。这时候,SQLite的内存数据库特性就越发显得好用。
SQLite的API不区分当前操作的数据库是在内存还是在文件(对于存储介质是透明的)。所以如果你觉得磁盘I/O有可能成为瓶颈的话,可以考虑切换为内存方式。切换的时候,操作SQLite的代码基本不用大改,只要在开始时把文件Load到内存,结束时把内存的数据库Dump回文件就OK了。在这种情况下,前面提到的“online backup API”就派上用场了,聪明的同学应该明白我为啥这么期待backup功能了吧?

★技术上的缺点和不足

  前面光聊了特性和优点,为了避免枪手写软文的嫌疑,再来说说SQLite的一些缺点。列位看官将来如果想用它,这些缺点要权衡一下。

  ◇并发访问的锁机制
SQLite在并发(包括多进程和多线程)读写方面的性能一直不太理想。数据库可能会被写操作独占,从而导致其它读写操作阻塞或出错。

  ◇SQL标准支持不全
在它的官方网站上,具体列举了不支持哪些SQL92标准。我个人感觉比较不爽的是不支持外键约束。

  ◇网络文件系统(以下简称NFS)
  有时候需要访问其它机器上的SQLite数据库文件,就会把数据库文件放置到网络共享目录上。这时候你就要小心了。当SQLite文件放置于NFS时,在并发读写的情况下可能会出问题(比如数据损坏)。原因据说是由于某些NFS的文件锁实现上有Bug。

★编程语言接口

  SQLite支持很多种语言的编程接口。这对于我这种喜欢混用多种编程语言的人来说,是很爽的。下面我大概介绍一下。

  ◇C/C++
  由于SQLite本身是C写的,它自带的API也是C接口的。所以C/C++用起来最直接了。假如你不喜欢面向过程的C API风格,可以另外找个C++的包装库。想重新发明*的同学,也可以自己包装一个。
◇Java
如果要用Java访问SQLite,可以通过SQLite的JDBC驱动,或者通过专门的SQLite包装库。我个人建议走JDBC方式,万一将来要换数据库,代码就不用大改。
◇Python
pysqlite是Python操作SQLite的首选。从Python 2.5开始,它已经被整合到Python的标准库中。看来Python社区还是蛮喜欢SQLite嘛。
◇.net
对于喜欢.net的同学,可以通过System.Data.SQLite来访问。
◇Ruby
Ruby可以通过SQLite-Ruby操作SQLite数据库,不过我没用过。
◇Perl
在CPAN上有DBD::SQLite,不过我也没用过。

★一些非技术的参考因素

  前面讲的都是技术层面的话题,如果你考虑在公司的商业软件项目中使用SQLite。还需要根据“如何选择开源项目”里面提到的几个参考因素,再评估一下。
◇授权协议(License)
SQLite使用的是Public Domain协议,这是最爽一种,可以放心大胆地用。
◇用户的普及程度
最近这几年,使用SQLite的人越来越多(从Google Trends可以反应出来)。包括一些大公司也开始把它整合到产品中(比如Google的Gears、Apple的Safari、Adobe的AIR)。这说明它的健壮性、稳定性等方面不会有太大问题。
◇开发的活跃程度
如果到SQLite的Change Log上大致了解一下,可以看出最近5年基本上每1-2个月都会有更新。说明开发的活跃度还是非常高的。
从上述几个非技术因素来看,SQLite用于商业公司的软件项目还是非常靠谱的。

引用:
SQLite介绍、学习笔记、性能测试
http://www.yongfa365.com/item/SQLite.html

上一篇:MVC+Ef项目(3) 抽象数据库访问层的统一入口;EF上下文线程内唯一


下一篇:Java 数据库访问层