脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → idea操作hbase数据库映射hive

基于idea操作hbase数据库并映射到hive表

 更新时间：2023年03月17日 10:18:14   作者：思达滴  
这篇文章主要介绍了用idea操作hbase数据库，并映射到hive,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

依赖条件：需要有Hadoop，hive，zookeeper，hbase环境

映射：每一个在 Hive 表中的域都存在于 HBase 中，而在 Hive 表中不需要包含所有HBase 中的列。HBase 中的 RowKey 对应到 Hive 中为选择一个域使用 :key 来对应，列族(cf:)映射到 Hive 中的其它所有域，列为(cf:cq)

配置映射环境

一：先关闭所有服务

[root@siwen ~]# stop-hbase.sh -----关闭hbase

[root@siwen ~]# zkServer.sh stop -----关闭zookeeper

[root@siwen ~]# stop-alll.sh -----关闭hadoop

二：配置文件

1，修改host文件：

C:\Windows\System32\drivers\etc在此目录下的hosts文件把此机器的ip和hostname加入进去

2，修改hive-site.xml

[root@siwen ~]# cd /opt/soft/hive312/conf/

[root@siwen conf]# vim ./hive-site.xml

加入下面几行

  <property>
    <name>hive.zookeeper.quorum</name>
    <value>192.168.255.159</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.255.159</value>
  </property>
  <property>
    <name>hive.aux.jars.path</name>
    <value>file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar</value>
  </property>

3，拷贝jar包

①将hbase235/lib目录下所有的jar包都拷贝到hive下面

[root@siwen conf]# cp /opt/soft/hbase235/lib/* /opt/soft/hive312/lib/

是否覆盖内容的时候，可以输入n，不覆盖；或者覆盖了也没问题

②统一guava文件

[root@siwen lib]# find ../lib/guava* -------查看所有的guava文件

[root@siwen lib]# rm -rf ../lib/guava-11.0.2.jar -------删除11版本的

[root@siwen conf]# cd /opt/soft/hbase235/lib/
[root@siwen lib]# pwd
/opt/soft/hbase235/lib

[root@siwen lib]# cp /opt/soft/hive312/lib/guava-27.0-jre.jar ./ -----把hive的guava文件拷贝给hbase

三：启动服务

#启动hadoop
[root@siwen lib]# start-all.sh
#启动zookeeper
[root@siwen lib]# zkServer.sh start
#启动hbase
[root@siwen lib]# start-hbase.sh
#启动hive
[root@siwen lib]# nohup hive --service metastore &
[root@siwen lib]# nohup hive --service hiveserver2 &

开始使用idea创建maven工程

在pom.xml 里面添加依赖

<dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>2.3.5</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-server</artifactId>
      <version>2.3.5</version>
    </dependency>

1，编写初始化方法：配置hbase信息，连接数据库

    //定义一个config，用于获取配置对象
    static Configuration config = null;
    //获取连接
    private Connection conn = null;
    Admin admin = null;
 
    @Before
    public void init() throws IOException {
        //配置hbase信息，连接hbase数据库
        config = HBaseConfiguration.create();
        config.set(HConstants.HBASE_DIR, "hdfs://192.168.255.159:9000/hbase");
        config.set(HConstants.ZOOKEEPER_QUORUM, "192.168.255.159");
        config.set(HConstants.CLIENT_PORT_STR, "2181");
        //hbase连接工厂
        conn = ConnectionFactory.createConnection(config);
        //拿到admin
        admin = conn.getAdmin();
    }

2，编写关闭方法

    @After
    public void close() throws IOException {
        System.out.println("执行close()方法");
        if (admin!=null)
            admin.close();
        if (conn!=null)
            conn.close();
    }

3，编写创建命名空间方法

    @Test
    public void createNameSpace() throws IOException {
        NamespaceDescriptor bigdata = NamespaceDescriptor.create("bigdata").build();
        #执行创建对象
        admin.createNamespace(bigdata); 
    }

4，编写创建表的方法

    @Test
    public void createTable() throws IOException {
        //创建表的描述类
        TableName tableName = TableName.valueOf("bigdata:student");
        //获取表格描述器
        HTableDescriptor desc = new HTableDescriptor(tableName);
 
        //创建列族的描述，添加列族
        HColumnDescriptor family1 = new HColumnDescriptor("info1");
        HColumnDescriptor family2 = new HColumnDescriptor("info2");
        desc.addFamily(family1);
        desc.addFamily(family2);
 
        admin.createTable(desc);*/

5，编写查看表结构的方法

    @Test
    public void getAllNamespace() throws IOException {
        List<TableDescriptor> tableDesc = admin.listTableDescriptorsByNamespace("bigdata".getBytes());
        System.out.println(tableDesc.toString());
    }

6，编写插入数据方法

   @Test
   public void insertData() throws IOException {
        //获取表的信息
        Table table = conn.getTable(TableName.valueOf("bigdata:student"));
        //设置行键
        Put put = new Put(Bytes.toBytes("student1"));
        //设置列的标识以及列值
        put.addColumn("info1".getBytes(), "name".getBytes(), "zs".getBytes());
        put.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
        //执行添加
        table.put(put);
 
        //使用集合添加数据
        Put put2 = new Put(Bytes.toBytes("student2"));
        put2.addColumn("info1".getBytes(), "name".getBytes(), "zss".getBytes());
        put2.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
        Put put3 = new Put(Bytes.toBytes("student3"));
        put3.addColumn("info1".getBytes(), "name".getBytes(), "zsr".getBytes());
        put3.addColumn("info2".getBytes(), "school".getBytes(), "xwxx".getBytes());
        List<Put> list = new ArrayList<>();
        list.add(put2);
        list.add(put3);
        table.put(list);
    }

7，编写查询指定数据的方法

    #查询student1的信息
    @Test
    public void queryData() throws IOException {
        Table table = conn.getTable(TableName.valueOf("bigdata:student"));
        Get get = new Get(Bytes.toBytes("student1"));
        Result result = table.get(get);
        byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
        System.out.println("姓名："+Bytes.toString(value));
        value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
        System.out.println("学校："+Bytes.toString(value));
    }

8，编写扫描数据的方法（所有数据）

    @Test
    public void scanData() throws IOException {
        Table table = conn.getTable(TableName.valueOf("kb21:student"));
        Scan scan = new Scan();
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) {
            byte[] value = result.getValue(Bytes.toBytes("info1"), Bytes.toBytes("name"));
            System.out.println("姓名："+Bytes.toString(value));
            value = result.getValue(Bytes.toBytes("info2"), Bytes.toBytes("school"));
            System.out.println("学校："+Bytes.toString(value));
            System.out.println(Bytes.toString(result.getRow()));
        }
    }

9，编写删除表的方法

     @Test
    public void deleteTable() throws IOException {
        //先禁用
        admin.disableTable(TableName.valueOf("bigdata:student"));
        //再删除
        admin.deleteTable(TableName.valueOf("bigdata:student"));
    }

创建外部表

---------主要外部表的字段需要和Hbase中的列形成映射

create external table student(
    id string,
    name string,
    school string
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with
serdeproperties ("hbase.columns.mapping"=":key,info1:name,info2:school")
tblproperties ("hbase.table.name"="bigdata:student");
select * from student

到此这篇关于用idea操作hbase数据库，并映射到hive的文章就介绍到这了,更多相关idea操作hbase数据库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • java中动态代理如何实现详解

    java中动态代理如何实现详解

    动态代理是基于接口实现的代理,mybatis就是用这个技术实现的,下面这篇文章主要给大家介绍了关于java中动态代理如何实现的相关资料,需要的朋友可以参考下
    2024-01-01
  • java连接ElasticSearch集群操作

    java连接ElasticSearch集群操作

    这篇文章主要介绍了java连接ElasticSearch集群操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-09-09
  • Mybatis批量插入的三种实现方法

    Mybatis批量插入的三种实现方法

    在日常开发中，如果要操作数据库的话，或多或少都会遇到批量数据的处理，本文主要介绍了Mybatis批量插入的三种实现方法，感兴趣的可以了解一下
    2023-10-10
  • Spring声明式事务和@Aspect的拦截顺序问题的解决

    Spring声明式事务和@Aspect的拦截顺序问题的解决

    本篇文章主要介绍了Spring声明式事务和@Aspect的拦截顺序问题的解决，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-05-05
  • 在SpringBoot环境中使用Mockito进行单元测试的示例详解

    在SpringBoot环境中使用Mockito进行单元测试的示例详解

    Mockito是一个流行的Java mocking框架,它允许开发者以简单直观的方式创建和使用模拟对象（mocks）,Mockito特别适用于在Spring Boot环境中进行单元测试,所以本文介绍了在SpringBoot环境中使用Mockito进行单元测试的示例,需要的朋友可以参考下
    2024-11-11
  • SpringBoot实现Md5对数据库数据加密的示例

    SpringBoot实现Md5对数据库数据加密的示例

    本文主要介绍了SpringBoot实现Md5对数据库数据加密的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • Java springboot项目jar发布过程解析

    Java springboot项目jar发布过程解析

    这篇文章主要介绍了Java springboot项目jar发布过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-09-09
  • JAVA加密算法- 非对称加密算法（DH，RSA）的详细介绍

    JAVA加密算法- 非对称加密算法（DH，RSA）的详细介绍

    这篇文章主要介绍了JAVA加密算法- 非对称加密算法（DH，RSA），详细介绍了DH，RSA的用法和示例，需要的朋友可以了解一下。
    2016-11-11
  • Java中如何正确定义字符串

    Java中如何正确定义字符串

    这篇文章主要给大家介绍了关于Java中如何正确定义字符串的相关资料,在Java中定义一个字符串最简单的方法是用双引号把它包围起来,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-10-10
  • Java快速掌握Vector类方法

    Java快速掌握Vector类方法

    Vector 类实现了一个动态数组。和 ArrayList 很相似，但是两者是不同的：Vector 是同步访问的；Vector 包含了许多传统的方法，这些方法不属于集合框架
    2022-03-03

最新评论