java-多线程文件处理和报告

我有一个应用程序可以处理输入目录中存储在多个文件中的数据,然后根据该数据产生一些输出.

到目前为止,该应用程序是按顺序工作的,即它启动了一个“管理器”线程,

>将输入目录的内容读入File []数组
>依次处理每个文件并存储结果
>在处理所有文件时终止

我想将其转换为多线程应用程序,其中的“管理器”线程

>将输入目录的内容读入File []数组
>启动多个“处理器”线程,每个线程处理一个文件,存储结果并将该文件的摘要报告返回到“管理器”线程
>在处理完所有文件后终止

“处理器”线程的数量最多等于文件的数量,因为它们将通过ThreadPoolExecutor进行回收.

任何避免使用join()或wait()/ notify()的解决方案都是可取的.

基于以上场景:

>让那些“处理器”线程报告回“管理器”线程的最佳方法是什么?在这里基于CallableFuture的实现是否有意义?
>当所有“处理器”线程都完成后,即所有文件都已处理完毕时,“管理器”线程如何得知?
>是否有一种“定时”处理器线程并在“线程”过长的情况下终止该线程的方法(即,尽管经过了预先配置的时间,它仍未返回结果)?

(伪)源代码的任何指针或示例,将不胜感激.

解决方法:

您绝对可以自己使用,而不用使用join()或wait()/ notify().

您应该先看一下java.util.concurrent.ExecutorCompletionService.

我的看法是,您应该编写以下类:

> FileSummary-简单值对象,包含处理单个文件的结果
> FileProcessor实现Callable< FileSummary> -将文件转换为FileSummary结果的策略
>文件管理器-创建FileProcessor实例,将其提交到工作队列,然后汇总结果的高级管理器.

然后,FileManager将如下所示:

class FileManager {
   private CompletionService<FileSummary> cs; // Initialize this in constructor

   public FinalResult processDir(File dir) {
      int fileCount = 0;
      for(File f : dir.listFiles()) {
         cs.submit(new FileProcessor(f));
         fileCount++;
      }

      for(int i = 0; i < fileCount; i++) {
         FileSummary summary = cs.take().get();
         // aggregate summary into final result;
      }
   }

如果要实现超时,可以在CompletionService上使用poll()方法而不是take().

上一篇:Java线程--Callable使用


下一篇:JAVA线程池详解