spark rdd saveAsTextFile保存为文件

sc.parallelize(["one", "two", "two", "three", "three", "three"]).map(lambda x: (x,1)).repartition(1).saveAsTextFile("feature/all.txt")

load方法:

a=sc.textFile("feature/all.txt")
a.collect()

[u"('one', 1)", u"('two', 1)", u"('two', 1)", u"('three', 1)", u"('three', 1)", u"('three', 1)"]













本文转自张昺华-sky博客园博客,原文链接:http://www.cnblogs.com/bonelee/p/7767609.html,如需转载请自行联系原作者






上一篇:.NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB


下一篇:算法研究之最大公约数