spark笔记之Scala Actor并发编程

1.1. 课程目标
1.1.1. 目标一:熟悉Scala Actor并发编程
1.1.2. 目标二:为学习Akka做准备

注:Scala Actor是scala 2.10.x版本及以前版本的Actor。

Scala在2.11.x版本中将Akka加入其中,作为其默认的Actor,老版本的Actor已经废弃。

1.2. 什么是Scala  Actor1.2.1. 概念

Scala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息的发送、接收来实现高并发的。

Actor可以看作是一个个独立的实体,他们之间是毫无关联的。但是,他们可以通过消息来通信。一个Actor收到其他Actor的信息后,它可以根据需要作出各种相应。消息的类型可以是任意的,消息的内容也可以是任意的。

1.2.2. java并发编程与Scala Actor编程的区别
spark笔记之Scala Actor并发编程
对于Java,我们都知道它的多线程实现需要对共享资源(变量、对象等)使用synchronized 关键字进行代码块同步、对象锁互斥等等。而且,常常一大块的try…catch语句块中加上wait方法、notify方法、notifyAll方法是让人很头疼的。原因就在于Java中多数使用的是可变状态的对象资源,对这些资源进行共享来实现多线程编程的话,控制好资源竞争与防止对象状态被意外修改是非常重要的,而对象状态的不变性也是较难以保证的。

与Java的基于共享数据和锁的线程模型不同,Scala的actor包则提供了另外一种不共享任何数据、依赖消息传递的模型,从而进行并发编程。

1.2.3. Actor的执行顺序

1、首先调用start()方法启动Actor

2、调用start()方法后其act()方法会被执行

3、向Actor发送消息

4、act方法执行完成之后,程序会调用exit方法

1.2.4. 发送消息的方式
spark笔记之Scala Actor并发编程
注意:Future 表示一个异步操作的结果状态,可能还没有实际完成的异步任务的结果

        Any  是所有类的超类,Future[Any]的泛型是异步操作结果的类型。

1.3. Actor实战1.3.1. 第一个例子

怎么实现actor并发编程:

1、定义一个class或者是object继承Actor特质,注意导包import scala.actors.Actor

2、重写对应的act方法

3、调用Actor的start方法执行Actor

4、当act方法执行完成,整个程序运行结束

package cn.itcast.actor

 

import scala.actors.Actor

 

  

 

object Actor1 extends Actor{

  //重写act方法

  def act(){

    for(i <- 1 to 10){

      println("actor-1 " + i)

      Thread.sleep(2000)

    }

  }

}

 

object Actor2 extends Actor{

  //重写act方法

  def act(){

    for(i <- 1 to 10){

      println("actor-2 " + i)

      Thread.sleep(2000)

    }

  }

}

 

object ActorTest extends App{

  //启动Actor

  Actor1.start()

  Actor2.start()

}
—

说明:上面分别调用了两个单例对象的start()方法,他们的act()方法会被执行,相同与在java中开启了两个线程,线程的run()方法会被执行

注意:这两个Actor是并行执行的,act()方法中的for循环执行完成后actor程序就退出了

1.3.2. 第二个例子

怎么实现actor发送、接受消息

1、定义一个class或者是object继承Actor特质,注意导包import scala.actors.Actor

2、重写对应的act方法

3、调用Actor的start方法执行Actor

4、通过不同发送消息的方式对actor发送消息

5、act方法中通过receive方法接受消息并进行相应的处理

6、act方法执行完成之后,程序退出

package cn.itcast.actor

import scala.actors.Actor

class MyActor extends Actor {

 

  override def act(): Unit = {

      receive {

        case "start" => {

          println("starting ...")

        }

      }

    }

  }

}

 

 

object MyActor {

  def main(args: Array[String]) {

    val actor = new MyActor

    actor.start()

    actor ! "start"

  

    println("消息发送完成!")

 

  }

}

1.3.3. 第三个例子

怎么实现actor可以不断地接受消息:

在act方法中可以使用while(true)的方式,不断的接受消息。

package cn.itcast.actor

import scala.actors.Actor

class MyActor1 extends Actor {

 

  override def act(): Unit = {

    while (true) {

      receive {

        case "start" => {

          println("starting ...")

        }

        case "stop" => {

          println("stopping ...")

        }

      }

    }

  }

}

 

 

object MyActor1 {

  def main(args: Array[String]) {

    val actor = new MyActor1

    actor.start()

    actor ! "start"

    actor ! "stop"

 

  }

}

说明:在act()方法中加入了while (true) 循环,就可以不停的接收消息

注意:发送start消息和stop的消息是异步的,但是Actor接收到消息执行的过程是同步的按顺序执行

1.3.4. 第四个例子

使用react方法代替receive方法去接受消息

好处:react方式会复用线程,避免频繁的线程创建、销毁和切换。比receive更高效

注意:  react 如果要反复执行消息处理,react外层要用loop,不能用while

package cn.itcast.actor

import scala.actors.Actor

class YourActor extends Actor {

  override def act(): Unit = {

    loop {

      react {

        case "start" => {

          println("starting ...")

        }

        case "stop" => {

          println("stopping ...")

 

        }

      }

    }

  }

}

 

  

 

 

object YourActor {

  def main(args: Array[String]) {

    val actor = new YourActor

    actor.start()

    actor ! "start"

    actor ! "stop"

    println("消息发送完成!")

 

  }

}

1.3.5. 第五个例子

结合case class样例类发送消息和接受消息

1、将消息封装在一个样例类中

2、通过匹配不同的样例类去执行不同的操作

3、Actor可以返回消息给发送方。通过sender方法向当前消息发送方返回消息

package cn.itcast.actor

import scala.actors.Actor

 

 

case class SyncMessage(id:Int,msg:String)//同步消息

case class AsyncMessage(id:Int,msg:String)//异步消息

case class ReplyMessage(id:Int,msg:String)//返回结果消息

 

class MsgActor extends Actor{

  override def act(): Unit ={

    loop{

      react{

        case "start"=>{println("starting....")}

 

        case SyncMessage(id,msg)=>{

          println(s"id:$id, SyncMessage: $msg")

          Thread.sleep(2000)

          sender !ReplyMessage(1,"finished...")

        }

        case AsyncMessage(id,msg)=>{

          println(s"id:$id,AsyncMessage: $msg")

         // Thread.sleep(2000)

          sender !ReplyMessage(3,"finished...")

          Thread.sleep(2000)

        }

 

      }

    }

  }

}

 

object MainActor {

  def main(args: Array[String]): Unit = {

     val mActor=new MsgActor

        mActor.start()

        mActor!"start"

 

        //同步消息 有返回值

     val reply1= mActor!?SyncMessage(1,"我是同步消息")

      println(reply1)

      println("===============================")

        //异步无返回消息

     val reply2=mActor!AsyncMessage(2,"我是异步无返回消息")

  

      println("===============================")

        //异步有返回消息

    val reply3=mActor!!AsyncMessage(3,"我是异步有返回消息")

    //Future的apply()方法会构建一个异步操作且在未来某一个时刻返回一个值

      val result=reply3.apply()

      println(result)

 

  }

}

1.3.6. 练习实战

需求:

用actor并发编程写一个单机版的WordCount,将多个文件作为输入,计算完成后将多个任务汇总,得到最终的结果。

大致的思想步骤:

1、通过loop +react 方式去不断的接受消息

2、利用case class样例类去匹配对应的操作

3、其中scala中提供了文件读取的接口Source,通过调用其fromFile方法去获取文件内容

4、将每个文件的单词数量进行局部汇总,存放在一个ListBuffer中

5、最后将ListBuffer中的结果进行全局汇总。

package cn.itcast.actor

import java.io.File

import scala.actors.{Actor, Future}

import scala.collection.mutable

import scala.io.Source

 

  

 

case class SubmitTask(fileName: String)

case class ResultTask(result: Map[String, Int])

class Task extends Actor {

  override def act(): Unit = {

    loop {

      react {

        case SubmitTask(fileName) => {

          val contents = Source.fromFile(new File(fileName)).mkString

          val arr = contents.split("\r\n")

          val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.length)

          //val result = arr.flatMap(_.split(" ")).map((_, 1)).groupBy(_._1).mapValues(_.foldLeft(0)(_ + _._2))

          sender ! ResultTask(result)

        }

      }

    }

  }

}

 

object WorkCount {

  def main(args: Array[String]) {

    val files = Array("d://aaa.txt", "d://bbb.txt","d://ccc.txt")

    val replaySet = new mutable.HashSet[Future[Any]]

    val resultList = new mutable.ListBuffer[ResultTask]

    for(f <- files) {

      val t = new Task

      val replay = t.start() !! SubmitTask(f)

      replaySet += replay

    }

    while(replaySet.size > 0){

      val toCumpute = replaySet.filter(_.isSet)

      for(r <- toCumpute){

        val result = r.apply()

        resultList += result.asInstanceOf[ResultTask]

        replaySet.remove(r)

      }

 

    }

    val finalResult = resultList.map(_.result).flatten.groupBy(_._1).mapValues(x => x.foldLeft(0)(_ + _._2))

    println(finalResult)

  }

}
上一篇:Activity(工作流-1)


下一篇:Linux被中断的系统调用