spark web ui各端口修改

  1. spark master:默认是8080
    • 修改方式:在sbin目录下编辑start-master.sh文件,修改SPARK_MASTER_WEBUI_PORT=8080
  2. spark worker:默认是8081
    • 修改方式:在sbin目录下编辑start-slave.sh文件,修改SPARK_MASTER_WEBUI_PORT=8081
  3. Spark当前执行的任务页面:默认是4040
    • 修改方式:在conf目录下编辑spark-defaults.sh文件,添加一条配置:spark.ui.port 4040
上一篇:即时性能分析工具 Pyroscope


下一篇:Spark3大数据实时处理-Streaming+Structured Streaming 实战