Docker安装Presto连接Hive的详细过程

 更新时间:2021年09月06日 11:00:21   作者:Leil_blogs  
这篇文章主要介绍了Docker安装Presto连接Hive的详细过程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

1、简介

Presto 是一个开源分布式 SQL 查询引擎,用于针对从千兆字节到 PB 级的各种规模的数据源运行交互式分析查询。Presto 允许查询数据所在的位置,包括 Hive、Cassandra、关系数据库甚至专有数据存储。单个 Presto 查询可以组合来自多个来源的数据,从而允许对整个组织进行分析。

2、下载安装

1)下载镜像

docker pull starburstdata/presto

2)下载客户端jar

因为pull下来的镜像是server,是没有presto-cli命令的,所以需要下载presto-cli-0.260.1-executable.jar,然后将下载好的jar包拉入Linux系统中。

下载完成后,run容器:

#端口号为8080,请自行修改,名字为presto
docker run -d -p 8080:8080  --name presto starburstdata/presto

将客户端jar包拷贝到容器中的bin目录下:

docker cp [客户端jar包所在的linux路径] [容器名]:/bin

进入到hadoop配置文件目录,将core-site.xml和hdfs-site.xml复制到容器中

cd ${HADOOP_HOME}/etc/hadoop
docker cp core-site.xml presto:/usr/lib/presto/etc/
docker cp core-site.xml presto:/usr/lib/presto/etc/

进入容器(以下不标注都是在容器中进行的操作):

#以root用户进入容器,防止没有权限操作文件
docker exec --user=root -it presto /bin/bash

将客户端jar包改名并赋予可执行权限:

cd bin
mv presto-cli-0.260.1-executable.jar presto-cli
chmod a+x presto-cli

3、配置文件

进入配置文件目录,创建hive配置文件:

cd /usr/lib/presto/etc/catalog
vi hive.properties

hive.properties:

#连接名,固定
connector.name=hive-hadoop2
#hive元数据uri,在hive-site.xml里能够找到,请自行修改ip和端口
hive.metastore.uri=thrift://192.168.10.51:9083
#hive配置的资源 core-site.xml和hdfs-site.xml,请根据自己集群中的配置文件路径进行修改,中间用逗号隔开
hive.config.resources=/usr/lib/presto/etc/core-site.xml,/usr/lib/presto/etc/hdfs-site.xml

wq保存退出

重启容器(在linux命令行下):

docker restart presto

4、测试连接

进入容器:

#以root用户进入容器,防止没有权限操作文件
docker exec --user=root -it presto /bin/bash
#进入bin目录
cd bin
#执行命令行脚本并测试hive连接,连接到hive配置文件,数据库是default
./presto-cli --server localhost:8080 --catalog hive --schema default
presto>show tables;

到此这篇关于Docker安装Presto连接Hive的详细过程的文章就介绍到这了,更多相关Docker安装Presto内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • supervisor下的Dockerfile的多服务镜像封装操作

    supervisor下的Dockerfile的多服务镜像封装操作

    这篇文章主要介绍了supervisor下的Dockerfile的多服务镜像封装操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • K8s集群重启与恢复-Node节点启停方式

    K8s集群重启与恢复-Node节点启停方式

    这篇文章主要介绍了K8s集群重启与恢复-Node节点启停方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-08-08
  • docker镜像压缩squash的实现

    docker镜像压缩squash的实现

    本文主要介绍了docker镜像压缩squash的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • 查看docker中运行的JVM参数问题及解决方法

    查看docker中运行的JVM参数问题及解决方法

    这篇文章主要介绍了查看docker中运行的JVM参数,方法一使用的是jcmd命令,方法二是jinfo命令,本文给大家介绍的非常详细,感兴趣的朋友一起看看吧
    2022-04-04
  • Docker之Dockerfile使用方法详解

    Docker之Dockerfile使用方法详解

    当使用Docker构建容器化应用程序时,Dockerfile是一个用于定义容器镜像的文本文件,Dockerfile 的编写是构建容器的基础,它允许您定义容器的构建步骤、环境和配置,所以本文就给大家讲讲Docker的Dockerfile使用方法,需要的朋友可以参考下
    2023-09-09
  • Docker实践之python应用容器化

    Docker实践之python应用容器化

    这篇文章主要介绍了Docker实践之python应用容器化,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-06-06
  • Docker如何保存对容器的修改问题

    Docker如何保存对容器的修改问题

    这篇文章主要介绍了Docker如何保存对容器的修改问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • docker文件存放路径, 获取容器启动命令操作

    docker文件存放路径, 获取容器启动命令操作

    这篇文章主要介绍了docker文件存放路径, 获取容器启动命令操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • 详解docker下的Mysql镜像的使用方法

    详解docker下的Mysql镜像的使用方法

    本篇文章主要介绍了详解docker下的Mysql镜像的使用方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • MacBookPro下docker的安装与使用教程

    MacBookPro下docker的安装与使用教程

    Windows与Linux下关于docker的安装使用方法有很多,今天小编这里给大家分享的是MacOS下docker的安装与简单使用案例,非常简单,给有需要的小伙伴参考下
    2017-03-03

最新评论