提高速度和性能。可以从下面几个点去优化
可以在本地运行调试来优化性能,但是本地和集群是完全不同的环境,数据流模式也截然不同,性能优化要在集群上测试。有些问题如(内存溢出)只能在集群上重现。
HPROF任务分析工具,使用下面命令启动jdk自带的分析工具,提供CPU和堆栈使用情况。
% hadoop jar hadoop-examples.jar v4.MaxtemperatureDriver –conf conf/Hadoop-cluster.xml –D mapreduce.task.profile=true input/ncdc/all max-temp
自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取: