这个问题是在服务器上报的,本地还是行的通的。
本地和服务器都是广播过变量的,服务器就是不行,解决方案是将结果数据返回成一个array,在外部调用session进行存储
---------今天的第二个问题---------
dataframe也可以直接调用算子,但是无结果,需要df.collect。收集一下之后再进行数据处理
2024-04-10 19:26:30
这个问题是在服务器上报的,本地还是行的通的。
本地和服务器都是广播过变量的,服务器就是不行,解决方案是将结果数据返回成一个array,在外部调用session进行存储
---------今天的第二个问题---------
dataframe也可以直接调用算子,但是无结果,需要df.collect。收集一下之后再进行数据处理
下一篇:Spark 自定义UDF