几种C#框架提供的数据结构对单值查找的效率比较

做分词组件时,有网友提出采用Hashtable 数据结构查找字符串效率较低,建议改为Dictionary,其理由是采用Hashtable 时Key值是object 会触发装箱和拆箱动作,一直对这种说法表示怀疑,因为我理解只有值类型和引用类型通过object 互转时才会发生装箱和查询,引用类型之间强制转换不应发生装箱和拆箱,而Dictionary 泛型实际上底层还是调用的Hashtable,所以效率怎么会比Hashtable 要高呢?今天决定对比较常用的4种数据结构做一个测试,以便以后做系统性能优化时做一个参考。

   这四种数据结构分别是 Hashtable, Dictionary, SortedDictionary,SortedList。它们所代表的数据结构分别是 哈希表、哈希表、二叉索引树和二分查找。测试设计如下。以10万条数据为一组,按照每条记录的字符串长度不同分为3组,分别是16,128,1024,并且分别根据原数据是排序的还是不排序的两种情况进行插入和单值查找的测试。测试时间单位为毫秒。下面看测试结果

    插入的测试结果 (所有结果都是插入10万次的总时间)

 

测试条件 HashTable Dictionary SortedDictionary SortedList
字符串长度 16,未排序 14 21 896 8009
字符串长度 16,已排序 25 35 990 671
字符串长度 128,未排序 30 52 868 8415
字符串长度 128,已排序 43 67 1053 666
字符串长度 1024,未排序 132 262 1269 8159
字符串长度 1024,已排序 158 277 1036 684

 

 

 

 查询的测试结果 (所有结果都是查询10万次的总时间)

 

测试条件 HashTable Dictionary SortedDictionary SortedList
字符串长度 16,未排序 13 15 412 366
字符串长度 16,已排序 25 29 349 315
字符串长度 128,未排序 31 40 492 438
字符串长度 128,已排序 42 54 408 371
字符串长度 1024,未排序 130 202 934 894
字符串长度 1024,已排序 160 219 801 757

 

从测试结果上看,无论是插入和查询,Hashtable的效率是最高的 其次是Dictionary 这和我的预期基本是一致的。

采用哈希方式插入,时间主要消耗在对哈希冲突情况的处理上,但由于只是选择空闲的桶而没有另外进行内存分配,其消耗时间是有限的。这里需要说明的是在我的测试设计中已经将每种数据结构的初始值设置为10万。而Dictionary 由于在Hashtable基础上封装了一层,效率稍有下降。

采用二叉搜索树插入,时间消耗在对树的节点的维护以及查找上(因为每次插入前需要确定记录是否有重复,重复记录不插入)。

二分查找,由于底层是一个顺序数组,当顺序插入时,效率比二叉搜索树稍高,当随机插入时会要求不断调整元素在数组中的位置,这导致大量的大块内存的拷贝,所以这种情况下效率极低,而且随着元素个数的增加会成指数上升。

哈希查找的时间消耗主要还是在冲突情况的匹配上,哈希函数的计算一般是很快的。但这里有一点必须要注意到,就是.net string  类型的特殊性,由于相同的string 指向相同的地址,所以在string 进行两两比较时,只比较地址,而不是每个字符都去计算,这大大提高了比较的效率。

而其他两种方式则需要比较字符串的大小,而不是仅仅比较相等,这带来了非常大的开销。

 

 结论

对以字符串为主键的单值查找的优先选择 Hashtable 或者 Dictionary. 个人觉得如果只注重效率的话, Hashtable 更好一些,特别是在字符串较长时其效率几乎比Dictionary 快将近一倍。

测试代码

几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较using System;
几种C#框架提供的数据结构对单值查找的效率比较using System.Collections;
几种C#框架提供的数据结构对单值查找的效率比较using System.Collections.Generic;
几种C#框架提供的数据结构对单值查找的效率比较using System.Text;
几种C#框架提供的数据结构对单值查找的效率比较using System.Diagnostics;
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较namespace StringDictionaryPerformance
几种C#框架提供的数据结构对单值查找的效率比较{
几种C#框架提供的数据结构对单值查找的效率比较    class Program
几种C#框架提供的数据结构对单值查找的效率比较    {
几种C#框架提供的数据结构对单值查找的效率比较        static Random _Rand = new Random();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static Hashtable _Hashtable;
几种C#框架提供的数据结构对单值查找的效率比较        static Dictionary<string, int> _Dictionary;
几种C#框架提供的数据结构对单值查找的效率比较        static SortedDictionary<string, int> _SortDictionary ;
几种C#框架提供的数据结构对单值查找的效率比较        static SortedList<string, int> _SortedList ;
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static string GetRandString(int length)
几种C#框架提供的数据结构对单值查找的效率比较        {
几种C#框架提供的数据结构对单值查找的效率比较            StringBuilder str = new StringBuilder();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < length; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                str.Append((char)_Rand.Next(32, 128));
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            return str.ToString();
几种C#框架提供的数据结构对单值查找的效率比较        }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static List<string> GetTestStrings(int length, int number)
几种C#框架提供的数据结构对单值查找的效率比较        {
几种C#框架提供的数据结构对单值查找的效率比较            List<string> retVal = new List<string>(number);
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < number; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                retVal.Add(GetRandString(length));
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            return retVal;
几种C#框架提供的数据结构对单值查找的效率比较        }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static void TestInsert(List<string> strings, bool sort)
几种C#框架提供的数据结构对单值查找的效率比较        {
几种C#框架提供的数据结构对单值查找的效率比较            if (sort)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                strings.Sort();
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("TestInsert string length = {0} count of strings = {1} sort={2}",
几种C#框架提供的数据结构对单值查找的效率比较                strings[0].Length, strings.Count, sort));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Stopwatch stopWatch = new Stopwatch();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin Hashtable");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            _Hashtable = new Hashtable(strings.Count);
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (_Hashtable[strings[i]] != null)
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    _Hashtable.Add(strings[i], i);
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin Dictoinary");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            _Dictionary = new Dictionary<string,int>(strings.Count);
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_Dictionary.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    _Dictionary.Add(strings[i], i);
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin SortDictionary");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            _SortDictionary = new SortedDictionary<string, int>();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_SortDictionary.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    _SortDictionary.Add(strings[i], i);
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin SortedList");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            _SortedList = new SortedList<string, int>(strings.Count);
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_SortedList.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    _SortedList.Add(strings[i], i);
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static void TestFind(List<string> strings, bool sort)
几种C#框架提供的数据结构对单值查找的效率比较        {
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("TestFind string length = {0} count of strings = {1} sort={2}",
几种C#框架提供的数据结构对单值查找的效率比较                strings[0].Length, strings.Count, sort));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Stopwatch stopWatch = new Stopwatch();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin Hashtable");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            _Hashtable = new Hashtable(strings.Count);
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (_Hashtable[strings[i]] != null)
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    Console.WriteLine("Error!");
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin Dictoinary");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_Dictionary.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    Console.WriteLine("Error!");
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin SortDictionary");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_SortDictionary.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    Console.WriteLine("Error!");
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine("Begin SortedList");
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Reset();
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Start();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            for (int i = 0; i < strings.Count; i++)
几种C#框架提供的数据结构对单值查找的效率比较            {
几种C#框架提供的数据结构对单值查找的效率比较                if (!_SortedList.ContainsKey(strings[i]))
几种C#框架提供的数据结构对单值查找的效率比较                {
几种C#框架提供的数据结构对单值查找的效率比较                    Console.WriteLine("Error!");
几种C#框架提供的数据结构对单值查找的效率比较                }
几种C#框架提供的数据结构对单值查找的效率比较            }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            stopWatch.Stop();
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            Console.WriteLine(string.Format("ElapsedMilliseconds = {0} ms", stopWatch.ElapsedMilliseconds));
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        }
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        static void Main(string[] args)
几种C#框架提供的数据结构对单值查找的效率比较        {
几种C#框架提供的数据结构对单值查找的效率比较            List<string> strings;
几种C#框架提供的数据结构对单值查找的效率比较            
几种C#框架提供的数据结构对单值查找的效率比较            strings = GetTestStrings(16, 100000);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            strings = GetTestStrings(128, 100000);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较            strings = GetTestStrings(1024, 100000);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, false);
几种C#框架提供的数据结构对单值查找的效率比较            TestInsert(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较            TestFind(strings, true);
几种C#框架提供的数据结构对单值查找的效率比较
几种C#框架提供的数据结构对单值查找的效率比较        }
几种C#框架提供的数据结构对单值查找的效率比较    }
几种C#框架提供的数据结构对单值查找的效率比较}
几种C#框架提供的数据结构对单值查找的效率比较

几种C#框架提供的数据结构对单值查找的效率比较

上一篇:Build FFmpeg for iOS


下一篇:WIN7不能上网