详解PyMySQL插入字典类型的数据

 更新时间:2022年07月18日 14:55:59   作者:蓝莓薄荷  
在我们爬虫或者调API获取数据后,需要将数据存入到数据库中,如果数据是列表嵌套字典格式的话,一般做法是遍历列表,然后用字典生成对应的SQL语句再执行插入到表中,本文将介绍一种更加简便的方法来插入字典类型的数据,需要的朋友可以参考下

在我们爬虫或者调API获取数据后,需要将数据存入到数据库中,如果数据是列表嵌套字典格式的话,一般做法是遍历列表,然后用字典生成对应的SQL语句再执行插入到表中。本文将介绍一种更加简便的方法来插入字典类型的数据。

我们有如下数据列表,需要将该数据插入到对应的数据表student中(表的字段名和数据列表中字典的键名相同)

student_list = [
    {"name": "Tony", "age": 19, "sex": "male"},
    {"name": "Lisa", "age": 18, "sex": "female"},
    {"name": "Jack", "age": 20, "sex": "male"}
]

使用pymysql批量插入数据可以用以下方法

cursor.executemany(sql, data_list)

上面的sql是一条包含占位符的插入语句,data_list就是需要插入的数据

可以通过以下方法来生成对应的sql

def generate_sql(data_list):
    data = data_list[0]  # 取出第一条
    cols = ", ".join('`{}`'.format(k) for k in data.keys())  # 字段名拼接
    val_cols = ', '.join('%({})s'.format(k) for k in data.keys())  # 对应值的占位符拼接
    sql = """
    INSERT INTO student(%s) VALUES(%s)
    """ % (cols, val_cols)
    return sql

生成的sql如下:

INSERT INTO student(`name`, `age`, `sex`) VALUES(%(name)s, %(age)s, %(sex)s)

生成sql后就可以使用executemany()方法批量插入数据到数据库中,全部代码如下

import pymysql
MYSQL_CONFIG = {
    'host': 'localhost',  # IP地址
    'port': 3306,  # 端口
    'user': 'myuser',  # 用户名
    'passwd': '111111',  # 密码
    'db': 'myclass',  # 数据库
    'charset': 'utf8',  # 编码
}
def generate_sql(data_list):
    data = data_list[0]
    cols = ", ".join('`{}`'.format(k) for k in data.keys())
    val_cols = ', '.join('%({})s'.format(k) for k in data.keys())
    sql = """
    INSERT INTO student(%s) VALUES(%s)
    """ % (cols, val_cols)
    return sql
def main():
    student_list = [
        {'name': 'Tony', 'age': 19, 'sex': 'male'},
        {'name': 'Lisa', 'age': 18, 'sex': 'female'},
        {'name': 'Jack', 'age': 20, 'sex': 'male'}
    ]
    conn = pymysql.connect(**MYSQL_CONFIG)  # 数据库连接
    cur = conn.cursor()  # 游标对象
    sql = generate_sql(student_list)
    cur.executemany(sql, student_list)
    conn.commit()
    cur.close()
    conn.close()
if __name__ == '__main__':
    main()

执行以上代码,就可以看到数据成功插入到表中

nameagesex
Tony19male
Lisa18female
Jack20male

到此这篇关于PyMySQL插入字典类型的数据的文章就介绍到这了,更多相关PyMySQL字典类型数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 从零开始用DataGrip的安装及使用教程

    从零开始用DataGrip的安装及使用教程

    这篇文章主要介绍了从零开始用DataGrip的安装以及使用,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-09-09
  • datagrip如何找到数据库和表

    datagrip如何找到数据库和表

    这篇文章主要介绍了datagrip入坑指南(如何找到数据库和表)的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2020-09-09
  • 复杂系统中的用户权限数据库设计解决方案

    复杂系统中的用户权限数据库设计解决方案

    这篇文章主要介绍了复杂系统中的用户权限数据库设计解决方案,针对大型、复杂的B/S系统,需要的朋友可以参考下
    2014-06-06
  • Navicat Premium12进行数据库定期自动备份的方法步骤

    Navicat Premium12进行数据库定期自动备份的方法步骤

    本文主要介绍了Navicat Premium 12进行数据库定期自动备份,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • 海量数据库的查询优化及分页算法方案集合1/2

    海量数据库的查询优化及分页算法方案集合1/2

    海量数据库的查询优化及分页算法方案集合1/2...
    2007-03-03
  • 详解SQLite中的查询规划器

    详解SQLite中的查询规划器

    这篇文章主要介绍了详解SQLite中的查询规划器,SQLite是一个开源的嵌入式数据库,需要的朋友可以参考下
    2015-07-07
  • OLEDB和ODBC的区别(优缺点)

    OLEDB和ODBC的区别(优缺点)

    ODBC是一种连接数据库的开放标准,OLEDB(对象链接和嵌入数据库)位于ODBC层与应用程序之间. 在你的ASP页面里,ADO是位于OLEDB之上的应用程序. 你的ADO调用先被送到OLEDB,然后再交由ODBC处理
    2012-09-09
  • 简单聊一聊SQL注入及防止SQL注入

    简单聊一聊SQL注入及防止SQL注入

    众所周知SQL注入是比较常见的网络攻击方式之一,它不是利用操作系统的BUG来实现攻击,而是针对程序员编程时的疏忽,通过SQL语句,实现无帐号登录,下面这篇文章主要给大家介绍了关于SQL注入及防止SQL注入的相关资料,需要的朋友可以参考下
    2022-03-03
  • DataGrip 连接 HiveServer2 报错的问题

    DataGrip 连接 HiveServer2 报错的问题

    这篇文章主要介绍了DataGrip 连接 HiveServer2 报错的问题,本文通过图文实例相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-09-09
  • SQL注入篇学习之盲注/宽字节注入

    SQL注入篇学习之盲注/宽字节注入

    盲注是注入的一种,指的是在不知道数据库返回值的情况下对数据中的内容进行猜测,实施SQL注入,下面这篇文章主要给大家介绍了关于SQL注入篇之盲注/宽字节注入的相关资料,需要的朋友可以参考下
    2022-03-03

最新评论