是否可以将Spark RDD传递给Python?
因为我需要一个python库来对我的数据进行一些计算,但我的主要Spark项目是基于Scala的.
有没有办法混合它们或让python访问相同的火花上下文?
解决方法:
您确实可以使用Scala和Spark以及常规Python脚本来管理python脚本.
test.py
#!/usr/bin/python
import sys
for line in sys.stdin:
print "hello " + line
火花壳(斯卡拉)
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = "./test.py"
val pipeRDD = dataRDD.pipe(scriptPath)
pipeRDD.foreach(println)
产量
你好约翰
你好
你好乔治
你好保罗