公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入:

pyspark --py-files lib/common.py

> import common

 

OK

 

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/7771606.html，如需转载请自行联系原作者