Spark中的JOIN机制

Spark中的JOIN机制

• • 1、Hash Join概述
  • 2、影响JOIN的因素
  • 3、Spark中的JOIN策略
  • • 3.1、Shuffle Hash Join
    • 3.2、Broadcast Hash Join
    • 3.3、Sort Merge Join
    • 3.4、Cartesian Product Join
    • 2.5、Broadcast Nested Loop Join

1、Hash Join概述

Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort

实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的

通常情况下，Hash Join使用两个表中较小的表在内存中建立以Join Key为Key的哈希/散列表（Hash Table），然后扫描较大的表，同样对大表Join Key进行Hash后探测哈希/散列表，找出与哈希/散列表匹配的行

Hash Join主要分为两个阶段：建立阶段（Build Phase）和探测阶段（Probe Phase）

• Bulid Phase：较小的表被构建成以Join Key为Key的Hash Table，较小的表也称Build Table
• Probe Phase：扫描较大表的行并计算Join Key的哈希值，与Build Table哈希表比对，若相同则进行JOIN

值得注意的是，Hash Join适用于较小的表完全可以放于内存的情况，如果表较大，无法构造在内存中，则优化器会将它分成若干个Partition，将不能放入内存的部分写入磁盘，此时会多一个写的代价，I/O性能差

Apache Spark将参与JOIN的两张表抽象为流式遍历表（StreamIter）和查找表（BuildIter），通常StreamIter为大表，BuildIter为小表，这是由Spark根据JOIN策略自动决定的。对于每条来自StreamIter的记录，都要去BuildIter中查找匹配的记录

2、影响JOIN的因素

1）数据集的大小

参与JOIN的数据集大小会直接影响JOIN操作的执行效率。同样，也会影响Spark JOIN机制的选择

2）JOIN的连接条件

JOIN的条件涉及字段之间的逻辑比较关系。根据JOIN的条件，JOIN可分为两大类：等值连接和非等值连接

• 等值连接：涉及字段之间一个或多个必须同时满足的相等条件（运算连接符为=）
• 非等值连接：涉及字段之间一个或多个必须同时满足的非相等条件（运算连接符不为=）
<