基于sqlalchemy对mysql实现增删改查操作

 更新时间:2020年06月12日 11:16:29   作者:路痴队长  
这篇文章主要介绍了基于sqlalchemy对mysql实现增删改查操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

需求场景:

老大让我利用爬虫爬取的数据写到或更新到mysql数据库中,百度了两种方法

1 是使用pymysql连接mysql,通过操作原生的sql语句进行增删改查数据;

2 是使用sqlalchemy连接mysql,通过ORM模型建表并操作数据库,不需要写原生的sql语句,相对简单些;

以下就是本次使用sqlalchemy的经验之谈。

实现流程:连接数据库》通过模型类创建表》建立会话》执行创建表语句》通过会话进行增删改查

from sqlalchemy import exists, Column, Integer, String, ForeignKey, exists
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

# 创建的数据库引擎
engine = create_engine("mysql+pymysql://user:pwd@ip/数据库名?charset=utf8")

#创建session类型
DBSession = sessionmaker(bind=engine)

# 实例化官宣模型 - Base 就是 ORM 模型
Base = declarative_base()


# 创建服务单表
class ServiceOrder(Base):
  __tablename__ = 'serviceOrderTable'
  id = Column(Integer, primary_key=True, autoincrement=True)
  serviceOrderId = Column(String(32), nullable=False, index=True, comment='服务单ID')
  serviceDesc = Column(String(268), comment='服务说明')
  oneLevelName = Column(String(32), comment='C类别')
  twoLevelName = Column(String(32), comment='T子类')
  threeLevelName = Column(String(32), comment='I项目')
  fourLevelName = Column(String(32), comment='S子项')
  transferTimes = Column(String(32), comment='转派次数')
  overDueStatus = Column(String(32), comment='过期状态')
  serviceTimeLimit = Column(String(32), comment='服务时限')
  serTimeLimitTypeName = Column(String(16), comment='时限类型')  
  # 一对多:
  # serviceWorkOrder = relationship("ServiceWorkOrder", backref="serviceorder")


# 多对一:多个服务工单可以属于服务单
class ServiceWorkOrder(Base):
  __tablename__ = 'serviceWorkOrderTable'
  id = Column(Integer, primary_key=True, autoincrement=True)
  serviceWorkOrderId = Column(String(32), nullable=False, index=True, comment='服务工单ID')
  workOrderName = Column(String(268), comment='工单名称')
  fromId = Column(String(32), comment='服务单ID')
  createUserSectionName = Column(String(32), comment='创建人室')
  createUserName = Column(String(32), comment='创建人')
  handlerName = Column(String(32), comment='处理人')
  statusName = Column(String(32), comment='工单状态')
  createTime = Column(String(32), comment='创建时间') 
  # “多”的一方的book表是通过外键关联到user表的:
  # serviceOrder_id = Column(Integer, ForeignKey('serviceOrderTable.id'))

# 创建数据库 如果数据库已存在 则不会创建 会根据库名直接连接已有的库
def init_db():
  Base.metadata.create_all(engine)

def drop_db():
  Base.metadata.drop_all(engine)

def insert_update():
  # all_needed_data_lists 是需要插入数据库的数据 格式[{key: value, ... }, { }, { }...]
  for item in all_needed_data_lists:
    ServiceOrderRow = ServiceOrder(serviceOrderId=item['serviceOrderId'],
                    serviceDesc=item['serviceDesc'],
                    oneLevelName=item['oneLevelName'],
                    twoLevelName=item['twoLevelName'],
                    threeLevelName=item['threeLevelName'],
                    fourLevelName=item['fourLevelName'],
                    transferTimes=item['transferTimes'],
                    overDueStatus=item['overDueStatus'],
                    serviceTimeLimit=item['serviceTimeLimit'],
                    serTimeLimitTypeName=item['serTimeLimitTypeName'],
                    )
    try:
      # 利用exists判断目标对象是否存在,返回True或Faults
      it_exists = session.query(
          exists().where(ServiceOrder.serviceOrderId == item['serviceOrderId'] )
        ).scalar()
    except Exception as e:
      self.log.error(e)
      break
    try:
      # 如果不存在,进行新增;存在的话就更新现存的数据
      if not it_exists:
        session.add(ServiceOrderRow)
      else:
        session.query(ServiceOrder).filter(ServiceOrder.serviceOrderId == item['serviceOrderId'])\
          .update(item)
    except Exception as e:
      self.log.error(e)
      break
  try:
    session.commit()
    self.log.info('数据更新成功!')
  except:
    session.rollback()
    self.log.info('数据更新失败!')

if __name__ == "__main__":
  # 创建数据库 如果数据库已存在 则不会创建 会根据库名直接连接已有的库
  init_db()
  # 创建session对象,进行增删改查:
  session = DBSession()
  # 利用session 增 改数据 记得提交
  insert_update()  

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • MySQL数据库统计函数COUNT的使用及说明

    MySQL数据库统计函数COUNT的使用及说明

    这篇文章主要介绍了MySQL数据库统计函数COUNT的使用及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-07-07
  • 简单聊一聊SQL中的union和union all

    简单聊一聊SQL中的union和union all

    在写SQL的时候,偶尔会用到两个表的数据结合在一起返回的,就需要用到UNION 和 UNION ALL,这篇文章主要给大家介绍了关于SQL中union和union all的相关资料,需要的朋友可以参考下
    2023-02-02
  • MySQL存储过程中一些基本的异常处理教程

    MySQL存储过程中一些基本的异常处理教程

    这篇文章主要介绍了MySQL存储过程中一些基本的异常处理教程,其中rollback命令的使用需要谨慎一些,需要的朋友可以参考下
    2015-12-12
  • MySQL如何解决幻读问题

    MySQL如何解决幻读问题

    在高并发数据库系统中,需要保证事务与事务之间的隔离性,还有事务本身的一致性。所以需要解决幻读问题,本文就来介绍一下,感兴趣的可以了解一下
    2021-08-08
  • 详解MySQL 表中非主键列溢出情况监控

    详解MySQL 表中非主键列溢出情况监控

    这篇文章主要介绍了详解MySQL 表中非主键列溢出情况监控,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Mysql报Table 'mysql.user' doesn't exist问题的解决方法

    Mysql报Table 'mysql.user' doesn't exist问题的解

    这篇文章主要给大家介绍了关于Mysql报Table 'mysql.user' doesn't exist问题的解决方法,初学者可能会遇到这个问题,文中通过图文将解决方法介绍的非常详细,需要的朋友可以参考下
    2022-05-05
  • MySQL跨服务器数据映射的实现

    MySQL跨服务器数据映射的实现

    本文主要介绍了MySQL跨服务器数据映射的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • MySQL 管理

    MySQL 管理

    MySQL 管理...
    2006-12-12
  • mysql一条sql查出多个条件不同的sum或count问题

    mysql一条sql查出多个条件不同的sum或count问题

    这篇文章主要介绍了mysql一条sql查出多个条件不同的sum或count问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-05-05
  • Mac下忘记mysql密码重新设置密码的图文教程

    Mac下忘记mysql密码重新设置密码的图文教程

    这篇文章主要介绍了Mac下忘记mysql密码重新设置密码的教程,非常不错具有参考借鉴价值,需要的朋友可以参考下
    2016-12-12

最新评论