6.6 hadoop作业调优

提高速度和性能。可以从下面几个点去优化

6.6 hadoop作业调优

可以在本地运行调试来优化性能,但是本地和集群是完全不同的环境,数据流模式也截然不同,性能优化要在集群上测试。有些问题如(内存溢出)只能在集群上重现。

HPROF任务分析工具,使用下面命令启动jdk自带的分析工具,提供CPU和堆栈使用情况。

% hadoop jar hadoop-examples.jar v4.MaxtemperatureDriver –conf conf/Hadoop-cluster.xml –D mapreduce.task.profile=true input/ncdc/all max-temp

自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取:

https://www.cnblogs.com/bclshuai/p/11380657.html

上一篇:Android Studio列表用法之一:ListView图文列表显示(实例)


下一篇:数据倾斜是多么痛?spark作业调优秘籍