处理hadoop发送的文件到后台并解析存储到数据库策略

处理hadoop发送的文件到后台并解析存储到数据库策略

 

 

 

主要实现 :首先 hadoop  mapreduce  处理好的 文件,一个个 放到指定的文件 目录下 ,然后 通过 在Linux 下 通过定时任务 打包 发到   web 服务器的 指定 目录下 ,然后web 服务器  会 通过定时任务  去解析 它 ,然后,存储导数据库。

 

1.上篇 介绍了 文件 的 解压 ,通过解压后 文件 会形成 多个 文件 。
处理hadoop发送的文件到后台并解析存储到数据库策略
处理hadoop发送的文件到后台并解析存储到数据库策略
处理hadoop发送的文件到后台并解析存储到数据库策略
 如图 ,解压 后 ,我们 会 发现 有 很多 文件 ,然后 我们该 去 对每个文件 读取 内容 并 存到数据库中。

 

 

 

 2. map 为所有文件 解析类

      dataMap  所 有 数据 类   所有文件的 数据都存储到datamap 中了

 

for (File subfile : subFiles){
	AbstractFileParser ifp = map.get(subfile.getName());
	if (ifp != null) {
		try {
			ifp = ifp.getClass().newInstance();
			ifp.init(subfile, (StatMap) dataMap.get(subfile.getName()));
			jobList.add(ifp);
			ifp.start();
		} catch (Exception e) { e.printStackTrace(); }
	}
}
for (Thread ifp : jobList)
{
	try {
		ifp.join();
	} catch (InterruptedException e) { e.printStackTrace(); }
}

  

 

 AbstractFileParser 类

BufferedReader bufferedReader = null;
try
{
	bufferedReader = new BufferedReader(new FileReader(this.file));
	String s = null;
	while ((s = bufferedReader.readLine()) != null)
	{
		if (isDebug || logger.isDebugEnabled())
			logger.debug(s);
		String[] ss = s.split(",");
		StatBase o = parseLine(ss);
		if (o != null)
		{
			StatBase b = null;
			synchronized (map)
			{
				b = map.get(o.getPrivateKey());
				if (b == null)
				{
					map.put(o.getPrivateKey(), o);
				}
				else
				{
					update(o, b);
				}
			}
		}
	}
}
catch (Exception e)
{
	logger.error("", e);
}
finally
{
	if (bufferedReader != null)
		try
		{
			bufferedReader.close();
		}
		catch (IOException e)
		{
		}
}

 

 保存到 datamap 中的 数据 要进行 数据库保存

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。


处理hadoop发送的文件到后台并解析存储到数据库策略处理hadoop发送的文件到后台并解析存储到数据库策略处理hadoop发送的文件到后台并解析存储到数据库策略
 
 
 谢谢您的赞助,我会做的更好!

 

 

上一篇:ALPD企业咨询服务:《成长型企业研发提效 轻咨询》


下一篇:让小程序在自有App中启动的技术来了:mPaaS小程序架构深度解析