python连接clickhouse数据库的两种方式小结

更新时间：2022年05月17日 09:37:03 作者：挽手等风起

这篇文章主要介绍了python连接clickhouse数据库的两种方式小结，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

python连接clickhouse数据库

在Python中获取系统信息的一个好办法是使用psutil这个第三方模块。

顾名思义，psutil = process and system utilities，它不仅可以通过一两行代码实现系统监控，还可以跨平台使用。

主要针对clickhouse_driver的使用进行简要介绍

第一步：

通过pip install clickhouse_driver 安装 clickhouse_driver

第二步：

方法一：使用clickhouse_driver 包中的Client类,通过实例化一个客户端进行对数据库的增删改查操作

from clickhouse_driver import Client
from datetime import datetime
import psutil
host_name = '192.168.50.94'
client = Client(host=host_name,database='default',user='default',password='自己设的密码',send_receive_timeout=20,port=55666)
now = datetime.now()
time_stamp = now.strftime('%a %b %d %H:%M:%S CST %Y')# Tue Apr 06 15:32:55 CST 2021  <class 'str'>
create_at = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
disk_io = psutil.disk_io_counters()
net_io = psutil.net_io_counters()
chart_name = ["磁盘IO","网络IO"]
metric_name1 = ["读(数量)","写(数量)", "读(字节)", "写(字节)", "读(时间)", "写(时间)"]
metric_name2 = ["发送字节数","接收字节数","发送包数","接收包"]
metric_value1 = [disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]
metric_value2 = [net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]
try:
    for i in chart_name:
        if i is "磁盘IO":
            for j in metric_name1:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) " \
                      "values('%s','%s','%s','%s','%s','%s')" % \
                         (time_stamp, host_name, i, j, metric_value1[metric_name1.index(j)], create_at)
                res = client.execute(sql)
        elif i is "网络IO":
            for j in metric_name2:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) " \
                      "values('%s','%s','%s','%s','%s','%s')" % \
                      (time_stamp, host_name, i, j, metric_value2[metric_name2.index(j)], create_at)
                res = client.execute(sql)
    print("成功写入数据")
except Exception as e:
    print(str(e))

方法二：使用clickhouse_driver 包中的connect函数,通过实例化一个客户端进行对数据库的增删改查操作

from datetime import datetime
import psutil
from clickhouse_driver import connect
host_name = '192.168.50.94'
#账号:密码@主机名:端口号/数据库
conn = connect('clickhouse://default:自己设的密码@'+host_name+':55666/default')
cursor = conn.cursor()
now = datetime.now()
time_stamp = now.strftime('%a %b %d %H:%M:%S CST %Y')# Tue Apr 06 15:32:55 CST 2021  <class 'str'>
create_at = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
disk_io = psutil.disk_io_counters()
net_io = psutil.net_io_counters()
chart_name = ["磁盘IO","网络IO"]
metric_name1 = ["读(数量)","写(数量)", "读(字节)", "写(字节)", "读(时间)", "写(时间)"]
metric_name2 = ["发送字节数","接收字节数","发送包数","接收包"]
metric_value1 = [disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]
metric_value2 = [net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]
try:
    for i in chart_name:
        if i is "磁盘IO":
            for j in metric_name1:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) values('%s','%s','%s','%s','%s','%s')" % \
                         (time_stamp, host_name, i, j, metric_value1[metric_name1.index(j)], create_at)
                # res = client.execute(sql)
                res = cursor.execute(sql)
        elif i is "网络IO":
            for j in metric_name2:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) values('%s','%s','%s','%s','%s','%s')" % \
                      (time_stamp, host_name, i, j, metric_value2[metric_name2.index(j)], create_at)
                res = cursor.execute(sql)
    cursor.close()
    print("成功写入数据")
except Exception as e:
    print(str(e))

python将数据写入clickhouse

from clickhouse_driver import Client 
 
# connect ClickHouse
client = Client(host= ,port= ,user= ,database= , password=)
 
 
# 得到table1中查询的数据导入table2中（database2中应该事先建立对应的table2表）
query_ck_sql = """ SELECT *
    FROM database1.table1
    WHERE date = today() """
# 导入数据到临时表
try:
    # 导入数据
    client.execute("insert into {official_table_db}.{official_all_table_name}  \
        {query_ck_sql}".format(
            official_table_db = database2, 
            official_table_name = table2, 
            query_ck_sql = query_ck_sql) 
        ,types_check = True)
except Exception as e:
    print str(e)

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python第三方异步日志库loguru简介
在编写调试Python代码过程中，我们经常需要记录日志，通常我们会采用python自带的内置标准库logging，但是使用该库，配置较为繁琐。为了提升编程效率，本文重点介绍最近发现的一个宝藏第三方日志库Loguru，感兴趣的朋友一起看看吧
2022-12-12
python实现报表自动化详解
这篇文章主要介绍了python实现报表自动化详解，涉及python读，写excel—xlwt常用功能，xlutils 常用功能，xlwt写Excel时公式的应用等相关内容，具有一定参考价值，需要的朋友可以了解下。
2017-11-11
pytorch 同步机制的实现
在PyTorch中,当多个算子和内核被并行执行时,PyTorch 通过 CUDA 的流和事件机制来管理并发和同步,本文就来介绍一下pytorch 同步机制,具有一定的参考价值,感兴趣的可以了解一下
2024-09-09
pycharm实现猜数游戏
这篇文章主要为大家详细介绍了pycharm实现猜数游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-12-12
Python利用Turtle绘制哆啦A梦和小猪佩奇
turtle库是python的基础绘图库，经常被用来介绍编程知识的方法库，是标准库之一，利用turtle可以制作很多复杂的绘图。本文将为大家介绍通过turtle库绘制制哆啦A梦和小猪佩奇，感兴趣的小伙伴可以学习一下
2022-04-04
简单了解Python write writelines区别
这篇文章主要介绍了简单了解Python write writelines区别,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
使用python/pytorch读取数据集的示例代码
这篇文章主要为大家详细介绍了使用python/pytorch读取数据集的示例,文中的示例代码讲解详细,具有一定参考价值,感兴趣的小伙伴可以跟随小编一起学习一下
2023-12-12
PyCharm如何导入python项目的方法
这篇文章主要介绍了PyCharm如何导入python项目的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-02-02
Python利用wxPython实现ocr识别图片汉字程序
在这篇博客中，我们将介绍一个如何使用wxPython构建的简单OCR识别图片汉字应用程序，文章的示例代码讲解详细，感兴趣的小伙伴可以学习一下
2023-08-08
Python实现Window路径格式转换为Linux路径格式的代码
这篇文章主要介绍了Python实现Window路径格式转换为Linux路径格式的方法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
2024-07-07