EF架构~扩展一个分页处理大数据的方法

回到目录

最近总遇到大数据的问题,一次性处理几千万数据不实际,所以,我们需要对大数据进行分块处理,或者叫分页处理,我在EF架构里曾经写过类似的,那是在进行BulkInsert时,对大数据批量插入时候用到的,现在我把它拿出来,放在IQueryableExtensions类中,即它将作为IQueryable的一个扩展出现,我们可以把这个分页处理的逻辑应用的更加广泛,并且,在这个整理中,提供了异步并行版本,它比同版版本快了几十倍之多,可以说,当前的服务器,只有使用了并且计算之后,才能发挥它的作用!

       /// <summary>
/// 并行分页处理数据,提高系统利用率,提升系统性能
/// </summary>
/// <typeparam name="TEntity"></typeparam>
/// <param name="item"></param>
/// <param name="method"></param>
public async static Task DataPageProcessAsync<T>(
      IQueryable<T> item,
      Action<IEnumerable<T>> method) where T : class
{
await Task.Run(() =>
{
DataPageProcess<T>(item, method);
});
} /// <summary>
/// 在主线程上分页处理数据
/// </summary>
/// <typeparam name="T"></typeparam>
/// <param name="item"></param>
/// <param name="method"></param>
public static void DataPageProcess<T>(
      IQueryable<T> item,
      Action<IEnumerable<T>> method) where T : class
{
if (item != null && item.Count() > )
{
var DataPageSize = ;
var DataTotalCount = item.Count();
var DataTotalPages = item.Count() / DataPageSize;
if (DataTotalCount % DataPageSize > )
DataTotalPages += ; for (int pageIndex = ; pageIndex <= DataTotalPages; pageIndex++)
{
var currentItems = item.Skip((pageIndex - ) * DataPageSize).Take(DataPageSize).ToList();
method(currentItems);
}
}
}

事实上,有了上面的方法,以后在进行分面处理数据时,只要有IQueryable的结果集和要处理的方法传进来就可以了,方便至极!

下面代码是选自我的FastSocket项目,对大数据进行传输时,使用的代码

            #region 分页数据传输
DataPageProcessAsync(model, (list) =>
{
client.Send("DSSInsert"
,
,
, item.Name//VersionHelper.GetNumber(ProjectID.NewLearningBar)
, SerializeMemoryHelper.SerializeToBinary(list)
, res => res.Buffer).ContinueWith(c =>
{
if (c.IsFaulted)
{
throw c.Exception;
}
Console.WriteLine(BitConverter.ToBoolean(c.Result, ));
});
});
#endregion

我自己试了同步方法DataPageProcess和并行异步方法DataPageProcessAsync,后都比较前者至少要快几十倍,当然这和你的CPU有关,你的CPU处理的线程数超多,这个倍数将会越大!

回到目录

上一篇:TFS - 使用微软测试管理器实现跨团队项目的测试用例管理


下一篇:一款jQuery特效编写的大度宽屏焦点图切换特效