Spark小课堂Week5 Scala初探

Scala是java威力加强版。

对Java的改进

这里会结合StreamingContext.scala这个代码说明下对Java的改进方面。

• 方便测试方式，增加了可以指定位置的作用域。
• 成员变量声明，构造方法，get、set方法一体化。
• []表示泛型，不是<>

class StreamingContext private[streaming] (


    sc_ : SparkContext,

    
    cp_ : Checkpoint,


    batchDur_ : Duration


  ) extends Logging

• case声明Java Bean，省掉new的操作

private[scheduler] sealed trait JobSchedulerEvent


private[scheduler] case class JobStarted(job: Job, startTime: Long) extends JobSchedulerEvent

• 用val控制声明周期，防止他人重新构造，已将所有基本类型对象化，所以val内容是可变的
• 提供类型推断，对于编译器可推断类型无需定义

private[streaming] val isCheckpointPresent = (cp_ != null)

• 会自动根据分支的最后一个逻辑返回，不需要return，可以表达式来定义逻辑

private[streaming] var checkpointDir: String = {


  if (isCheckpointPresent) {

  
    sc.setCheckpointDir(cp_.checkpointDir)


    cp_.checkpointDir


  } else {


    null


  }

  
}

• 用None替代null，由定义方来定义是否可能空指针情况，降低调用方的开发难度

private[streaming] val uiTab: Option[StreamingTab] =


  if (conf.getBoolean("spark.ui.enabled", true)) {


    Some(new StreamingTab(this))


  } else {


    None


  }

作业

题目

在RDD.scala中没有sortByKey方法，为什么可以调用。

解析

Scala中有一个非常强大的隐式转换功能，可以实现方法的动态注入。

以下是范例代码。可以看到通过隐式转换方法，可以动态给Person类添加toCode这个方法。

在Spark源码中到处使用。

class Person(val name:String)

class Engineer(val name:String,val salary:Double){

    def code = println("coding:" + name)

}

def toCode(p:Person){

    p.code

}

implicit def personToEngineer(p:Person) : Engineer= {

    new Engineer(p.name,0);

}

new Person("aa").code

关于

小课堂是在公司进行内部交流的一系列主题，偏基础，但是比较零散，持续更新中。