hive中的几种join到底有什么区别

 更新时间:2022年03月24日 16:10:37   作者:牧码文  
hive处理表关联时由于数据量以及数据倾斜等问题会导致计算性能差甚至任务失败,下面这篇文章主要给大家介绍了关于hive中几种join到底有什么区别的相关资料,需要的朋友可以参考下

hive中,几种join的区别

数据:

tom,1
jey,2
lilly,7
lilly,8

tom,1
lilly,3
may,4
bob,5

以上两个为数据,没有什么意义,全是为了检测join的使用

看一下两张表,其实可以看出来,在name一行有重复的,也有不重复的,在id一行1表完全包含2表

1. left join

left join会把左边的表所有数据列出来,当左边表有而右边表没有的时候,就会用null代替

select *
from jn1
left join jn2
on jn1.name=jn2.name;

jn1.name    jn1.id    jn2.name    jn2.id
tom    1    tom    1
jey    2    NULL    NULL
lilly    7    lilly    3
lilly    8    lilly    3

而右表有左表没有的就不会显示了

2. join

join会把两个表共有的部分筛选出来

select *
from jn1
join jn2
on jn1.name=jn2.name;

jn1.name    jn1.id    jn2.name    jn2.id
tom    1    tom    1
lilly    7    lilly    3
lilly    8    lilly    3

可以看到,共有的部分筛选了出来

3. full join

会把两者没有的有的全部数据都选出来,没有的显示空值

select *
from jn1
full join jn2
on jn1.name = jn2.name;

jn1.name    jn1.id    jn2.name    jn2.id
tom    1    tom    1
NULL    NULL    bob    5
jey    2    NULL    NULL
lilly    7    lilly    3
lilly    8    lilly    3
NULL    NULL    may    4

4. Join…on 1=1

这种情况会有笛卡尔积的产生,就是表1的每一行都会和表2匹配一下,这样就会产生指数级的增长

select *
from jn1
join jn2
on 1=1;

jn1.name    jn1.id    jn2.name    jn2.id
tom    1    lilly    3
tom    1    bob    5
tom    1    may    4
tom    1    tom    1
jey    2    lilly    3
jey    2    bob    5
jey    2    may    4
jey    2    tom    1
lilly    7    lilly    3
lilly    7    bob    5
lilly    7    may    4
lilly    7    tom    1
lilly    8    lilly    3
lilly    8    bob    5
lilly    8    may    4
lilly    8    tom    1

5. union

会把查询结果拼接起来,但是要求两个查询结果的行数必须保持一致

否则会报错

FAILED: SemanticException Schema of both sides of union should match

select *
from jn1
union
select * 
from jn2;

_u1.name    _u1.id
jey    2
lilly    7
bob    5
lilly    3
lilly    8
tom    1
may    4

6. union all

union会组合起来,那么union all可以不

select *
from jn1
union all
select * 
from jn2;

lilly    3
tom    1
may    4
bob    5
tom    1
jey    2
lilly    7
lilly    8

union和union all的区别

从上述的两个结果就可以看出来了两者的区别,union会自动去重处理,所以结果把重复的数据去掉了,而union all则不会去重。

注意tips:left join会用之后,right join不用说了吧

总结

到此这篇关于hive中的几种join到底有什么区别的文章就介绍到这了,更多相关hive的join区别内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MyISAM与InnoDB索引实现对比详解

    MyISAM与InnoDB索引实现对比详解

    这篇文章主要给大家介绍了关于MyISAM与InnoDB索引实现对比的相关资料,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • 修改插入时间不匹配问题

    修改插入时间不匹配问题

    修改插入时间不匹配问题的解决方法。需要的朋友可以参考下。
    2009-11-11
  • MySQL与Oracle 差异比较之六触发器

    MySQL与Oracle 差异比较之六触发器

    这篇文章主要介绍了MySQL与Oracle 差异比较之六触发器,需要的朋友可以参考下
    2017-04-04
  • pgsql binlog监听功能点解析

    pgsql binlog监听功能点解析

    这篇文章主要为大家介绍了pgsql binlog监听功能点解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-02-02
  • Windows10 下 Neo4j1.5.8 保姆级安装教程

    Windows10 下 Neo4j1.5.8 保姆级安装教程

    Neo4j 是一个高性能的、NOSQL 图形数据库,它将结构化数据存储在网络上而不是表中,这篇文章主要介绍了Windows10下Neo4j1.5.8安装教程,需要的朋友可以参考下
    2023-07-07
  • sql语句中where和having的区别

    sql语句中where和having的区别

    HAVING是先分组再筛选记录,WHERE在聚合前先筛选记录.也就是说作用在GROUP BY 子句和HAVING子句前;而 HAVING子句在聚合后对组记录进行筛选
    2013-06-06
  • 浅谈数据库缓存最终一致性的四种方案

    浅谈数据库缓存最终一致性的四种方案

    缓存是软件开发中一个非常有用的概念,数据库缓存更是在项目中必然会遇到的场景,缓存一致性的保证,更是在面试中被反复问到。下面我们就一起来了解一下
    2021-04-04
  • 通过一分钟快速了解索引技巧

    通过一分钟快速了解索引技巧

    这篇文章主要给大家介绍了如何通过一分钟快速了解索引技巧的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用索引具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-12-12
  • 数据库设计技巧奉送了

    数据库设计技巧奉送了

    数据库设计技巧奉送了...
    2007-03-03
  • Navicat15安装教程超详细步骤(最靠谱)

    Navicat15安装教程超详细步骤(最靠谱)

    Navicat是一款轻量级的用于MySQL连接和管理的工具,非常好用,使用起来方便,简洁。下面讲讲其安装的过程
    2021-06-06

最新评论