Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

大数据场景下,联表远比微小型关系型数据库中使用的频繁。网上有句话:

 传统数据库单机模式做Join的场景毕竟有限,也建议尽量减少使用Join。
 然而大数据领域就完全不同,Join是标配,OLAP业务根本无法离开表与表之间的关联,对Join的支持成熟度一定程度上决定了系统的性能,夸张点说,'得Join者得天下'。
 -- SparkSQL – 有必要坐下来聊聊Join – 有态度的HBase/Spark/BigData (hbasefly.com)
			

不同数据库引擎对JOIN的实现算法一般不同,我们最常用的mysql中的join实现是Nested Loop Join ( MySQL中Join算法实现原理通俗易懂_墨卿风竹的博客-CSDN博客),Spark中支持的要更广泛。

下面我们创造两个DF来进行测试。

  1. private static List<Customer> getCustomers() {
  2.     List<Customer> customerList = new ArrayList<>(3);
  3.     customerList.add(new Customer(100, "张三"));
  4.     customerList.add(new Customer(101, "张四"));
  5.     customerList.add(new Customer(102, "张五"));
  6.     System.out.println("Customer: " + customerList);
  7.     return customerList;
  8. }
  9.  
  10. private static List<Payment> getPayments() {
  11.     Random random = new Random(0);
  12.     List<Payment> paymentList = new ArrayList<>(6);
  13.     for (int a = 0; a < 6; a++) {
  14.         int i = random.nextInt(10000);
  15.         Payment p = new Payment((long) (a + 1), (long) (100+ a), (double) i);
  16.         paymentList.add(p);
  17.     }
  18.     System.out.println("Payment: " + paymentList);
  19.     return paymentList;
  20. }

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

Inner Join 

内连接是spark默认的连接方式。通过join方法即可使用内连接:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

你要这样用的话,会发现还有一个方法不用传入连接字段,猜一下输出什么:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

上面这种连接只能指定一个连接字段,如果需要多字段匹配呢?spark提供了另一个方法:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

这个方法的第二个参数Java没法直接提供,需要转换一下:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

left join

DF没有直接提供leftJoin这样的方法,只提供了join()和crossJoin()两个。从上面的文档截图可以看到,通过传第三个参数来指定不同的连接方式。

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

现在对Java程序员不太友好了,每次join都要先转一次:可能这也是网上的博客、教程都用scala的原因吧。

right join

和left join类似:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

outer join

全外连接是左外和右外的组合,这里不演示了。

cross join

这个上面提到了 ,有对应的方法。它产生的是笛卡尔积,会产生大量结果:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

这个方法是2.1之后增加的。之前也是通过join方法实现,但是会被不小心误用,就增加了一个明确的方法。

 

Left-Semi-Join

左半连接和左连接比较类似,差别是结果中不包含右表字段,仅包含左表字段。

左连接不是既包含左表字段,又有右表字段,右表中不匹配的字段也显示但是为null。左半连接是右表不匹配的记录左表就不展示了,实际更应该叫semi-inner-join。它相当于关系型SQL中的子查询。

但是由于只返回左表,所以叫左半连接。同时并不提供右半连接操作,因为它就是内连接。

下面是连接方式映射

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

 

Left-anti-Join

左反连接是左半连接的取反,并不是右半连接。它展示的是左连接以后,右表是null的那些左表数据,也就是内连接以后左表的补集。相等于关系型数据库的not in。

Self Join

自连接就是DF跟自己连接,所以需要通过别名来区分两个DF。

自连接我们再Mysql中用的不少,一般用来查询层级数据,比如有父子关系的记录。为了简单,假设Payment中两个字段有父子关系,于是这样查询:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

上面造的数据都不满足,所以改成这样:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

运行输出是

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

如果把第一个参数的开始值改成98,输出就是

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

Null 字段匹配

假设在连接过程中(任何连接场景),连接字段出现了null会怎么样?

假设payement记录如下

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

默认情况下,spark会忽略这些记录,如果不想忽略可以这样:

  1. import static org.apache.spark.sql.functions.col;
  2.  
  3.  
  4. Dataset<Row> join = payment.as("c1").join(payment.as("c2"), col("c1.paymentId").eqNullSafe(col("c2.customerId")));
  5. join.show();

这里使用了方法eqNullSafe

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

结果如下

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

现在连customer也改成null看一下

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

两张表内连接结果如下

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

改成使用方法eqNullSage,结果如下

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

好像看起来不错,但你去把结果跟最早的结果(没比较Null的时候)对比发现,这里customerId出现了两次,而之前只出现了一次。

这里可以使用drop方法移除列:

  1. join.drop("customerId").show();
  2. join.drop(payment.col("customerId")).show();

效果可以猜一下。

JoinWith

最后说一下这个方法。从它的签名可以猜出作用:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

把前面内连接的例子改成joinWith方法:

Spark3学习【基于Java】5. Spark-Sql联表查询JOIN

结果中每一行是一个元组,元组的两个元素分别是两个表的原始记录。

最后

已经都来到这了,你不想知道左半连接或左反连接的joinWith结果是啥吗?

上一篇:c++多线程join使用


下一篇:STL Container