2022.1.1 大数据学习02 Spark入门项目 快速上手

学习目标:

理解Spark框架的使用

创建Maven项目:

2022.1.1 大数据学习02 Spark入门项目 快速上手
2022.1.1 大数据学习02 Spark入门项目 快速上手
为了方便,将创建的新项目当成父项目,删除src

创建子项目
2022.1.1 大数据学习02 Spark入门项目 快速上手

提示:这里可以添加要学的内容
例如:
1、 增加Scala插件
当jdk版本为1.8时,选用scala2.11.8
下载地址
https://www.scala-lang.org/download/2.11.8.html
2022.1.1 大数据学习02 Spark入门项目 快速上手2022.1.1 大数据学习02 Spark入门项目 快速上手
2.WordCount 快速上手
2022.1.1 大数据学习02 Spark入门项目 快速上手

2、 Scala的使用
添加依赖

<dependencies>
	 <dependency>
		 <groupId>org.apache.spark</groupId>
		 <artifactId>spark-core_2.12</artifactId>
		 <version>3.0.0</version>
	 </dependency>
</dependencies>
<build>
	 <plugins>
	 <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
		 <plugin>
		 <groupId>net.alchim31.maven</groupId>
		 <artifactId>scala-maven-plugin</artifactId>
		 <version>3.2.2</version>
		 <executions>
			 <execution>
				 <!-- 声明绑定到 maven 的 compile 阶段 -->
				 <goals>
				 	<goal>testCompile</goal>
				 </goals>
			 </execution>
		 </executions>
		 </plugin>
		 <plugin>
			 <groupId>org.apache.maven.plugins</groupId>
			 <artifactId>maven-assembly-plugin</artifactId>
			 <version>3.1.0</version>
			 <configuration>
				 <descriptorRefs>
				 	<descriptorRef>jar-with-dependencies</descriptorRef>
				 </descriptorRefs>
			 </configuration>
			 <executions>
				 <execution>
					 <id>make-assembly</id>
					 <phase>package</phase>
					 <goals>
					 	<goal>single</goal>
					 </goals>
				 </execution>
			 </executions>
		 </plugin>
	 </plugins>
</build>

3、 掌握条件语句
4、 掌握循环语句


学习时间:

提示:这里可以添加计划学习的时间
例如:
1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点


学习产出:

提示:这里统计学习计划的总量
例如:
1、 技术笔记 2 遍
2、CSDN 技术博客 3 篇
3、 学习的 vlog 视频 1 个

上一篇:Scala学习3——注释和变量类型


下一篇:寒假学习1-IDEA搭建scala