使用spark.streaming.receiver.maxRate来限制你的吞吐的最大信息量。
因为当streaming程序的数据源的数据量突然变大巨大,可能会导致streaming被撑住导致吞吐不过来,所以可以考虑对于最大吞吐做一下限制。
2024-03-25 23:19:40
使用spark.streaming.receiver.maxRate来限制你的吞吐的最大信息量。
因为当streaming程序的数据源的数据量突然变大巨大,可能会导致streaming被撑住导致吞吐不过来,所以可以考虑对于最大吞吐做一下限制。