spark streaming 调优的几个角度:
- 高效地利用集群资源减少批数据的处理时间
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
- 内存调优
Spark SQL
可以通过调用 sqlContext.cacheTable("tableName")
方法来缓存使用柱状格式的表。
2023-11-24 07:53:21
设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度
可以通过调用 sqlContext.cacheTable("tableName")
方法来缓存使用柱状格式的表。