在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要注意的是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要

1）闭包引入（有闭包就需要进行序列化）

序列化方法和属性

2）说明

Driver：算子以外的代码都是在Driver端执行

Executor：算子里面的代码都是在Executor端执行

3 Kryo序列化框架

参考地址: https://github.com/EsotericSoftware/kryo

Java的序列化能够序列化任何的类。但是比较重，序列化后对象的体积也比较大。

Spark出于性能的考虑，Spark2.0开始支持另外一种Kryo序列化机制。Kryo速度是Serializable的10倍。当RDD在Shuffle数据的时候，简单数据类型、数组和字符串类型已经在Spark内部使用Kryo来序列化。

注意：即使使用Kryo序列化，也要继承Serializable接口或者使用样例类。

总结:spark中只要自定义类:

第一步:把这个类 样例化或者实现serializable接口

第二步:替换默认的序列化机制 new SparkConf().set("spark.serializer","org.apache.spark.serializer.KryoSerializer")

第三步: 

注册需要使用kryo序列化的自定义类   new SparkConf()   .registerKryoClasses(Array(classOf[Searche])