python连接clickhouse数据库的两种方式小结

 更新时间:2022年05月17日 09:37:03   作者:挽手等风起  
这篇文章主要介绍了python连接clickhouse数据库的两种方式小结,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

python连接clickhouse数据库

在Python中获取系统信息的一个好办法是使用psutil这个第三方模块。

顾名思义,psutil = process and system utilities,它不仅可以通过一两行代码实现系统监控,还可以跨平台使用。

主要针对clickhouse_driver的使用进行简要介绍

第一步:

  • 通过pip install clickhouse_driver 安装 clickhouse_driver

第二步:

  • 方法一:使用clickhouse_driver 包中的Client类,通过实例化一个客户端进行对数据库的增删改查操作
from clickhouse_driver import Client
from datetime import datetime
import psutil
host_name = '192.168.50.94'
client = Client(host=host_name,database='default',user='default',password='自己设的密码',send_receive_timeout=20,port=55666)
now = datetime.now()
time_stamp = now.strftime('%a %b %d %H:%M:%S CST %Y')# Tue Apr 06 15:32:55 CST 2021  <class 'str'>
create_at = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
disk_io = psutil.disk_io_counters()
net_io = psutil.net_io_counters()
chart_name = ["磁盘IO","网络IO"]
metric_name1 = ["读(数量)","写(数量)", "读(字节)", "写(字节)", "读(时间)", "写(时间)"]
metric_name2 = ["发送字节数","接收字节数","发送包数","接收包"]
metric_value1 = [disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]
metric_value2 = [net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]
try:
    for i in chart_name:
        if i is "磁盘IO":
            for j in metric_name1:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) " \
                      "values('%s','%s','%s','%s','%s','%s')" % \
                         (time_stamp, host_name, i, j, metric_value1[metric_name1.index(j)], create_at)
                res = client.execute(sql)
        elif i is "网络IO":
            for j in metric_name2:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) " \
                      "values('%s','%s','%s','%s','%s','%s')" % \
                      (time_stamp, host_name, i, j, metric_value2[metric_name2.index(j)], create_at)
                res = client.execute(sql)
    print("成功写入数据")
except Exception as e:
    print(str(e))
  • 方法二:使用clickhouse_driver 包中的connect函数,通过实例化一个客户端进行对数据库的增删改查操作
from datetime import datetime
import psutil
from clickhouse_driver import connect
host_name = '192.168.50.94'
#账号:密码@主机名:端口号/数据库
conn = connect('clickhouse://default:自己设的密码@'+host_name+':55666/default')
cursor = conn.cursor()
now = datetime.now()
time_stamp = now.strftime('%a %b %d %H:%M:%S CST %Y')# Tue Apr 06 15:32:55 CST 2021  <class 'str'>
create_at = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
disk_io = psutil.disk_io_counters()
net_io = psutil.net_io_counters()
chart_name = ["磁盘IO","网络IO"]
metric_name1 = ["读(数量)","写(数量)", "读(字节)", "写(字节)", "读(时间)", "写(时间)"]
metric_name2 = ["发送字节数","接收字节数","发送包数","接收包"]
metric_value1 = [disk_io.read_count,disk_io.write_count,disk_io.read_bytes,disk_io.write_bytes,disk_io.read_time,disk_io.write_time]
metric_value2 = [net_io.bytes_sent,net_io.bytes_recv,net_io.packets_sent,net_io.packets_recv]
try:
    for i in chart_name:
        if i is "磁盘IO":
            for j in metric_name1:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) values('%s','%s','%s','%s','%s','%s')" % \
                         (time_stamp, host_name, i, j, metric_value1[metric_name1.index(j)], create_at)
                # res = client.execute(sql)
                res = cursor.execute(sql)
        elif i is "网络IO":
            for j in metric_name2:
                sql = "insert into clickhouse_host_metrics777(time_stamp,host_name, chart_name, metric_name,metric_value,create_at) values('%s','%s','%s','%s','%s','%s')" % \
                      (time_stamp, host_name, i, j, metric_value2[metric_name2.index(j)], create_at)
                res = cursor.execute(sql)
    cursor.close()
    print("成功写入数据")
except Exception as e:
    print(str(e))

python将数据写入clickhouse

from clickhouse_driver import Client 
 
# connect ClickHouse
client = Client(host= ,port= ,user= ,database= , password=)
 
 
# 得到table1中查询的数据导入table2中(database2中应该事先建立对应的table2表)
query_ck_sql = """ SELECT *
    FROM database1.table1
    WHERE date = today() """
# 导入数据到临时表
try:
    # 导入数据
    client.execute("insert into {official_table_db}.{official_all_table_name}  \
        {query_ck_sql}".format(
            official_table_db = database2, 
            official_table_name = table2, 
            query_ck_sql = query_ck_sql) 
        ,types_check = True)
except Exception as e:
    print str(e)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python中f‘{}‘用法小结

    python中f‘{}‘用法小结

    这篇文章主要介绍了python中f‘{}‘用法,f’{}’用法等同于 format用法的简单使用,更加方便,本文给大家详细讲解,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-03-03
  • 浅谈使用Python变量时要避免的3个错误

    浅谈使用Python变量时要避免的3个错误

    这篇文章主要介绍了浅谈使用Python变量时要避免的3个错误,还是比较不错的,涉及部分代码分析,以及字典的创建等相关内容,需要的朋友可以参考下。
    2017-10-10
  • TensorFlow学习之分布式的TensorFlow运行环境

    TensorFlow学习之分布式的TensorFlow运行环境

    这篇文章主要了TensorFlow学习之分布式的TensorFlow运行环境的相关知识,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-02-02
  • python pyheatmap包绘制热力图

    python pyheatmap包绘制热力图

    这篇文章主要为大家详细介绍了python pyheatmap包绘制热力图,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • python笔记(2)

    python笔记(2)

    python笔记,参考上一篇文章大家继续
    2012-10-10
  • Python中常见的反爬机制及其破解方法总结

    Python中常见的反爬机制及其破解方法总结

    今天给大家带来的文章是关于Python的相关知识,文章围绕着Python中常见的反爬机制及其破解方法展开,文中有非常详细的介绍,需要的朋友可以参考下
    2021-06-06
  • Python标准库pathlib操作目录和文件

    Python标准库pathlib操作目录和文件

    这篇文章主要为大家介绍了Python标准库pathlib操作目录和文件的示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-11-11
  • 详解用pyecharts Geo实现动态数据热力图城市找不到问题解决

    详解用pyecharts Geo实现动态数据热力图城市找不到问题解决

    这篇文章主要介绍了详解用pyecharts Geo实现动态数据热力图城市找不到问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • python3+PyQt5实现柱状图

    python3+PyQt5实现柱状图

    这篇文章主要为大家详细介绍了python3+PyQt5实现柱状图的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • python3实现的zip格式压缩文件夹操作示例

    python3实现的zip格式压缩文件夹操作示例

    这篇文章主要介绍了python3实现的zip格式压缩文件夹操作,结合实例形式分析了Python3基于zipfile模块实现zip格式文件压缩的相关操作技巧,需要的朋友可以参考下
    2019-08-08

最新评论