Django切换数据库和迁移数据详解

 更新时间:2022年11月13日 10:10:37   作者:程序设计实验室  
这篇文章主要介绍了Django切换数据库和迁移数据详解的相关资料,需要的朋友可以参考下

前言

今天来分享一下 Django 项目切换数据库和迁移数据的方案,网络上找到的文章方法不一,且使用中容易遇到各类报错,本文根据 Django 官方文档和工作中的经验,稳定可靠,在博客中长期更新~

如果你遇到同样的问题,阅读本文应该能得到比较好的解决方案。

基本步骤

Django 默认使用 SQLite 数据库方便开发,同时其 ORM 支持多种数据库,只要安装对应的驱动就行。

切换数据库一般是将开发环境的 SQLite 切换到 MySQL (MariaDB) 或 PostgreSql ,本文只测试了从 SQLite 到 MySQL / PostgreSQL,同理,其他切换路径也是可以的。

数据库的表结构没啥问题,使用 Django 的 migrate 功能就行了

关键在于数据迁移,可以使用 Navicat 之类的数据库工具进行数据同步,但往往会因为表之间的约束关系导致同步失败(要求按特定顺序导入数据)。

所以最好的方法是使用 Django 的 dumpdata 功能,将数据库导出为 json 或 xml 文件,然后切换数据库再导入。

步骤如下:

  • 导出原有数据: python manage.py dumpdata -o db.json
  • 在目标数据库(MySQL / PostgreSql)里创建一个空的库
  • 在 settings.py 里切换到新的数据库
  • 建立新的数据库表结构 python manage.py migrate
  • 导入原有数据: python manage.py loaddata db.json

搞定~

附上几种数据库配置,方便使用

db_config = {
    'sqlite': {
        'ENGINE': 'django.db.backends.sqlite3',
        'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
        'OPTIONS': {
            'timeout': 20,
        }
    },
    'pgsql': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': '数据库名称',
        'USER': '用户名',
        'PASSWORD': '密码',
        'HOST': '数据库服务器地址',
        'PORT': 5432,
    },
    'mysql': {
        'ENGINE': 'django.db.backends.mysql',
        'NAME': '数据库名称',
        'USER': '用户名',
        'PASSWORD': '密码',
        'HOST': '数据库服务器地址',
        'PORT': 3306,
    }
}
# 这里可以方便切换不同数据库
DATABASES = {'default': db_config['pgsql']}

其中:

  • MySQL 需要安装 mysqlclient 包
  • PostgreSql 需要安装 psycopg2 

然后,事情往往没有这么简单和顺利,导出导入的过程中可能会遇到一些问题,请继续看~

导出报错

报错信息

CommandError: Unable to serialize database: 'gbk' codec can't encode character '\u30fb' in position 4: illegal multibyte sequence

原因跟编码有关

解决方法

使用 Python 的 UTF-8 模式导出数据就没问题

用这个命令导出文件

(不导出 auth.permission 和 contenttypes ,这俩在 migrate 时会自动生成,这样避免了导入原有数据时冲突)

python -Xutf8 manage.py dumpdata --exclude auth.permission --exclude contenttypes > db.json

或者

python -Xutf8 manage.py dumpdata -o db.json

导入过程出错解决

报错1: Duplicate entry

报错信息

django.db.utils.IntegrityError: Problem installing fixture 'db.json'  Could not load contenttypes.ContentType(pk=15): (1062, "Duplicate entry 'xxx' for key 'django_content_type.django_content_type_app_label_model_76bd3d3b_uniq'")

解决方法一: 重新导出数据

加上这俩参数

  • --natural-primary: Omits the primary key in the serialized data of this object since it can be calculated during deserialization.
  • --natural-foreign: Uses the natural_key() model method to serialize any foreign key and many-to-many relationship to objects of the type that defines the method.

作用是导出的时候去除一些约束,导入时会自动处理,减少导入时因为表之间约束关系的问题

python3 manage.py dumpdata --natural-primary --natural-foreign -o db.json

解决方法二: 删除 content_type 数据

另一种思路,把 migrate 过程产生的初始化数据删了,避免导入时和原有数据冲突

先进入 python shell

python3 manage.py shell

输入以下Python代码执行

from django.contrib.contenttypes.models import ContentType
ContentType.objects.all().delete()

报错2: 编码错误

报错信息

UnicodeDecodeError: ‘utf-8' codec can't decode byte 0xff in position 0: invalid start byte in Django

解决方法一: 使用 Python 的 UTF8 模式(推荐)

在导入命令前面加上 -Xutf8 参数

python -Xutf8 manage.py loaddata db.json

解决方案二: 魔改 Django 代码

能用,但不推荐,实在没办法再来试这个方法

修改文件

lib\site-packages\django\core\serializers\json.py

在 Deserializer 方法中找到这行代码

stream_or_string = stream_or_string.decode()

改成这样

stream_or_string = stream_or_string.decode('UTF-16')

再进行导入操作

参考资料

到此这篇关于Django切换数据库和迁移数据详解的文章就介绍到这了,更多相关Django切换数据库和迁移数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Django实现分页显示效果

    Django实现分页显示效果

    这篇文章主要为大家详细介绍了Django实现分页显示效果,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-10-10
  • 不到20行代码用Python做一个智能聊天机器人

    不到20行代码用Python做一个智能聊天机器人

    小编先向大家介绍一下本次运用到的python库,本次项目主要运用到的库有wxpy和chatterbot。对Python做一个智能聊天机器人的相关知识感兴趣的朋友跟随小编一起看看吧
    2019-04-04
  • python矩阵/字典实现最短路径算法

    python矩阵/字典实现最短路径算法

    这篇文章主要为大家详细介绍了python矩阵/字典实现最短路径算法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-01-01
  • 关于Python 内置库 itertools

    关于Python 内置库 itertools

    今天得这篇文章就来给大家介绍一下Python的系统库itertools的 相关资料,需要的小伙伴可以参考下面文章的具体内容
    2021-09-09
  • 详解基于django实现的webssh简单例子

    详解基于django实现的webssh简单例子

    这篇文章主要介绍了基于 django 实现的 webssh 简单例子,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • python解决Fedora解压zip时中文乱码的方法

    python解决Fedora解压zip时中文乱码的方法

    这篇文章给大家介绍了如何利用python解决Fedora解压zip时中文乱码的方法,对大家具有一定参考借鉴价值,有需要的朋友们可以参考学习,下面来一起看看吧。
    2016-09-09
  • Python学习之MRO方法搜索顺序

    Python学习之MRO方法搜索顺序

    这篇文章主要介绍了Python MRO方法搜索顺序,文中代码和图片解释的非常详细,可以很好的带大家学习相关知识内容,感兴趣的小伙伴可以参考一下这篇文章
    2021-09-09
  • python 中的命名空间,你真的了解吗?

    python 中的命名空间,你真的了解吗?

    这篇文章主要介绍了python 中命名空间的相关资料,帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-08-08
  • 删除python pandas.DataFrame 的多重index实例

    删除python pandas.DataFrame 的多重index实例

    今天小编就为大家分享一篇删除python pandas.DataFrame 的多重index实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • Python有序容器的 sort 方法详解

    Python有序容器的 sort 方法详解

    这篇文章主要介绍了Python有序容器的 sort 方法,容器.sort(key=选择排序依据的函数, reverse=True|False) 可以将有序容器进行排序,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2022-09-09

最新评论