我有一个应用程序可以处理输入目录中存储在多个文件中的数据,然后根据该数据产生一些输出.
到目前为止,该应用程序是按顺序工作的,即它启动了一个“管理器”线程,
>将输入目录的内容读入File []数组
>依次处理每个文件并存储结果
>在处理所有文件时终止
我想将其转换为多线程应用程序,其中的“管理器”线程
>将输入目录的内容读入File []数组
>启动多个“处理器”线程,每个线程处理一个文件,存储结果并将该文件的摘要报告返回到“管理器”线程
>在处理完所有文件后终止
“处理器”线程的数量最多等于文件的数量,因为它们将通过ThreadPoolExecutor
进行回收.
任何避免使用join()或wait()/ notify()的解决方案都是可取的.
基于以上场景:
>让那些“处理器”线程报告回“管理器”线程的最佳方法是什么?在这里基于Callable
和Future
的实现是否有意义?
>当所有“处理器”线程都完成后,即所有文件都已处理完毕时,“管理器”线程如何得知?
>是否有一种“定时”处理器线程并在“线程”过长的情况下终止该线程的方法(即,尽管经过了预先配置的时间,它仍未返回结果)?
(伪)源代码的任何指针或示例,将不胜感激.
解决方法:
您绝对可以自己使用,而不用使用join()或wait()/ notify().
您应该先看一下java.util.concurrent.ExecutorCompletionService.
我的看法是,您应该编写以下类:
> FileSummary-简单值对象,包含处理单个文件的结果
> FileProcessor实现Callable< FileSummary> -将文件转换为FileSummary结果的策略
>文件管理器-创建FileProcessor实例,将其提交到工作队列,然后汇总结果的高级管理器.
然后,FileManager将如下所示:
class FileManager {
private CompletionService<FileSummary> cs; // Initialize this in constructor
public FinalResult processDir(File dir) {
int fileCount = 0;
for(File f : dir.listFiles()) {
cs.submit(new FileProcessor(f));
fileCount++;
}
for(int i = 0; i < fileCount; i++) {
FileSummary summary = cs.take().get();
// aggregate summary into final result;
}
}
如果要实现超时,可以在CompletionService上使用poll()方法而不是take().