MySQL数据迁移到MSSQL-以小米数据库为例-测试828W最快可达到2分11秒

2021-12-15 16:22:27

这里采用.NET Framework 4.0以上版本中新出现的 ConcurrentQueue<T> 类

MSDN是这样描述的：

ConcurrentQueue<T> 类是一个线程安全的先进先出 (FIFO) 集合。

ConcurrentQueue<T> 的所有公共且受保护的成员都是线程安全的，可从多个线程同时使用。

共采用两个线程，一个读一个写。

(FIFO) 集合：

ConcurrentQueue<DataTable> DataTableList = new ConcurrentQueue<DataTable>();

读：

 private void MainThread()

 {

     if (DataTableList.Count < _pageCount)//小于队列最大值后即可再次获取一次

     {

         for (int index = ; index < _pageCount; index++)

         {

             DataTable dt = null;

             try

             {

                 int counts = index ==  ? index : (index * PageSize - );

                 dt = MySql.GetDataTable(counts, PageSize);

                 DataTableList.Enqueue(dt);

                 Console.WriteLine("Read {0}\t{1}/{2}", DateTime.Now.ToString("HH:mm:ss.fff"), index, counts);

             }

             catch (Exception)

             { }
ThreadPool.QueueUserWorkItem(Thread1, dt);

         }

     }

 }

写：

 private void Thread1(object state)

 {

     var dt = (DataTable)state;

     MsSql.Insert(dt);

     Console.WriteLine("Write {0}", DateTime.Now.ToString("HH:mm:ss.fff"));

     OK_WORK_COUNT++;//已处理任务数+1

     //从任务队列移除

     if (DataTableList.Count > )

     {

         DataTableList.TryDequeue(out dt);

     }

 }

读取MySQL数据库的方法很简单：

MySqlDataAdapter.Fill(DataTable dataTable)方法填充数据。

写入MSSQL数据库的方法也很简单：

SqlBulkCopy.WriteToServer(DataTable dataTable)方法批量插入数据。

经过多次测试，程序上的优化，基本到位了，但我知道肯定还有可以改进的地方，请各路大神不惜赐教。

主要性能瓶颈还是在I/O上，就拿我自己的例子来说吧：

本机上用HHD存放MySQL和MSSQL数据库，不管三七二之一，连同数据迁移程序也放在HHD。

一次读写5000条数据，单线程测试结果是：41分31秒。

本机上创建一个RAM DISK用来存放MySQL和MSSQL数据库，照旧，数据迁移程序也放在这里。

一次读写20W条数据，单线程测试结果：3分11秒

而改为ConcurrentQueue<T>多线程同步线程安全后，一次读写20W条数据，多线程测试结果：2分11秒

如果读写数据不需要按顺序的话，完全可以抛弃掉ConcurrentQueue<T>，从而获得更高的效率，更快的读写速度。