一、并发编程模型AKKA
Spark使用底层通信框架AKKA
分布式
master
worker
hadoop使用的是rpc 1)akka简介
写并发程序很难，AKKA解决spark这个问题。
akka构建在JVM平台上，是一种高并发、分布式、并且容错的应用工具包
akka用scala语言编写同时提供了scala和java的开发接口
akka可以开发一些高并发程序。 2）Akka的Actor模型
akka处理并发的方法基于actor模型
在基于actor的系统中，所有事物都是actor。
actor作为一个并发模型设计和架构的，面向对象不是。
actor与actor之间只能通过消息通信。 Akka特点：
（1）对并发模型进行了更高的抽象
（2）异步、非阻塞、高性能的事件驱动编程模型
（3）轻量级事件处理（1G内存可以容纳百万级别的Actor）
同步：阻塞（发消息 一直等待消息）
异步：不阻塞（发消息 不等待 该干嘛干嘛）
actor简化了并发编程，提高了程序性能。
1、Actor模型
2、Actor工作机制
二、AKKA编程
1、需求 我发消息，自己收
object CallMe {
//1.创建ActorSystem 用ActorSystem创建Actor
private val acFactory = ActorSystem("AcFactory")
//2.Actor发送消息通过ActorRef
private val callRef = acFactory.actorOf(Props[CallMe],"CallMe")
def main(args: Array[String]): Unit = {
//3.发送消息
callRef ! "你吃饭了吗"
callRef ! "很高兴见到你"
callRef ! "stop"
}
}
class CallMe extends Actor{
//Receive用户接收消息并且处理消息
override def receive: Receive = {
case "你吃饭了吗" => println("吃的鸡腿")
case "很高兴见到你" => println("我也是")
case "stop" => {
//关闭代理ActorRef
context.stop(self)
//关闭ActorSystem
context.system.terminate()
}
}
}
结果：
2.需求 一个Actor发送消息，另外一个Actor接收消息
(1)TomActor
import akka.actor.Actor
class TomActor extends Actor{
override def receive: Receive = {
case "你好，我是John" => {
println("你好，我是Tom")
}
case "我爱Tom" => {
println("Tom也爱John")
}
}
}
(2)JohnActor
import akka.actor.{Actor, ActorRef}
class JohnActor(val h:ActorRef) extends Actor{
override def receive: Receive = {
case "你好，我是John" => {
//John发送消息给TomActor
h ! "我爱Tom"
}
}
}
(3)QqDriver
import akka.actor.{ActorSystem, Props}
object QqDriver {
//1.创建ActorSystem 用ActorSystem创建Actor
private val qqFactory = ActorSystem("QqFactory")
//2.Actor发送消息通过ActorRef
private val hRef = qqFactory.actorOf(Props[TomActor],"Tom")
//John需要接受Tom发送的消息
private val dRef = qqFactory.actorOf(Props(new JohnActor(hRef)),"John")
def main(args: Array[String]): Unit = {
//1.Tom自己给自己发送消息
//hRef ! "我爱Tom"
//2John给Tom发送消息
dRef ! "你好，我是John"
}
}
(4)结果
3、maven依赖pom文件
<!-- 定义版本常量 -->
<properties>
<encoding>UTF-8</encoding>
<scala.version>2.11.8</scala.version>
<scala.compat.version>2.11</scala.compat.version>
<akka.version>2.4.17</akka.version>
</properties> <dependencies>
<!-- 添加scala包的依赖 -->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
</dependency> <!-- 添加akka包的actor依赖 -->
<dependency>
<groupId>com.typesafe.akka</groupId>
<artifactId>akka-actor_${scala.compat.version}</artifactId>
<version>${akka.version}</version>
</dependency> <!-- 多进程之间的Actor通信设置 -->
<dependency>
<groupId>com.typesafe.akka</groupId>
<artifactId>akka-remote_${scala.compat.version}</artifactId>
<version>${akka.version}</version>
</dependency>
</dependencies> <!-- 指定使用插件-->
<build>
<!-- 指定源码包和测试包的位置信息 -->
<sourceDirectory>src/main/scala</sourceDirectory>
<testSourceDirectory>src/test/scala</testSourceDirectory>
<plugins>
<!-- 指定编译scala的插件 -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin> <!-- maven打包使用的插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
<resource>reference.conf</resource>
</transformer>
<!-- 指定main方法 -->
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
<mainClass>com.itstaredu.spark.SparkWorker</mainClass>
</transformer>
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>