Spark 常用参数及调优

spark streaming 调优的几个角度:

  • 高效地利用集群资源减少批数据的处理时间
  • 设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度

  • 内存调优

Spark SQL

可以通过调用 sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。

上一篇:Spark面试题(八)——Spark的Shuffle配置调优


下一篇:CentOS 6.5升级Python2.7