使用Django和Postgres进行全文搜索的实例代码
这些天，我需要全文搜索。这个区块中最酷的孩子们是Elastic Search和Sorl：他们快速，灵活，资源消耗沉重并且需要Java，这几乎是我想要的一个5美元的数字海洋飞车上运行的宠物项目所需的所有东西。
放弃这些选项后，我剩下了Xapian和postgres全文搜索的功能，而xapian似乎功能更丰富，我决定从postgres开始，因为它与django进行了本机集成，并且对这个特定项目的要求不高。
项目及其要求
您可能已经注意到，我正在运行工作板。 Voorjob基本上是从lever.co聚合工作，并让用户搜索它。目前，我在数据库中大约有25,000个工作，这个数字增长缓慢，每增加2或3个工作，就会关闭另一个工作。是的，如果我采用了弹性搜索路径，那将是一本教科书过度设计的情况。
实施
从9.4版开始，postgres添加了一些允许全文本搜索的功能。不久之后，Django在postgres特定功能中镜像了这些功能。
要开始使用此新功能，我基本上需要在模型中使用SearchVectorField，并需要使用矢量化的职位描述来更新此字段的方法：
from django.contrib.postgres.search import SearchVectorField, SearchVector
class Job(models.Model):
title = models.CharField(max_length=200, blank=True)
location = models.CharField(max_length=50, blank=True)
body = models.TextField(null=True)
body_vector = SearchVectorField(null=True)
def make_search_vector():
self.body_vector=SearchVector('body')
def save(self, *args, **kwargs):
self.make_search_vector()
super(Model, self).save(*args, **kwargs)
这种方法适用于很少更新的工作，例如工作板，但是如果您的应用程序经常更新，则应避免使用此策略，并应定期执行一些任务来填充向量：
Job.objects.all().update(body_vector=SearchVector('body'))
甚至更好的是，您可以通过阅读本文档，使用postgres触发器直接进行操作。
查询工作
现在您已经准备好数据库，现在可以查询它了，让我们看一下voorjob搜索视图的教学版本：
from django.contrib.postgres.search import SearchQuery
class Index(ListView):
model = Job
paginate_by = 30
def get_queryset(self):
search = self.request.GET.get("search", None)
queryset = Job.objects.all()
if search:
if '"' in search:
query = SearchQuery(search.replace('"', ''), search_type='phrase')
else:
query = SearchQuery(search)
queryset = queryset.filter(body_vector=query)
else:
queryset = queryset
return queryset
我基本上在这里考虑两种查询：单词存在和“精确表达式”。是的，该逻辑中存在一些缺陷，请继续起诉我：D
还有很多可以改进的地方，django支持加权查询：
vector = SearchVector（'title'，weight ='A'）+ SearchVector（'body'，weight ='B'） Job.objects.all（）。update（body_vector = vector）
这最终将以更好的顺序返回结果，其中标题中的匹配比正文中的匹配更重。
查询系统也更加灵活，允许进行逻辑运算OR / AND和NOT。在不久的将来，我将改善对工作板的搜索，并更新此帖子以描述所做的更改。
性能
在开发过程中，我使用了具有16GB内存和不错的NVMe的I5。对本地计算机中的25k作业运行查询基本上是瞬时的。
当我将项目转移到生产环境时（每滴5美元），事情变得越来越慢了。
运行密西西比基准测试，我得到以下结果：
在/ django rest framework上搜索（（1个密西西比州以扫描5K条目））
在/ full /上搜索“ django rest framework”（-3个密西西比州，扫描25K条目）
不是最好的性能，但现在可以使用。本文将进行更新以反映任何性能改进。
考虑到我的搜索需求不高-超过25k的条目，且字数过多的文章并不比本文大很多-使用postgres作为我的全文搜索的后端，对于此早期MVP来说效果很好。现在，我比每天给我20个用户提供最快的体验，对尝试事物和扩大董事会成员更感兴趣。
更新（2020年2月9日）
好消息！ 我了解到可以将索引添加到SearchVectorField中：
from django.contrib.postgres.indexes import GinIndex
class Job(models.Model):
class Meta:
indexes = (GinIndex(fields=["body_vector"]),)
title = models.CharField(max_length=200, blank=True)
location = models.CharField(max_length=50, blank=True)
body = models.TextField(null=True)
body_vector = SearchVectorField(null=True)
def make_search_vector():
self.body_vector=SearchVector('body')
def save(self, *args, **kwargs):
self.make_search_vector()
super(Model, self).save(*args, **kwargs)
现在，所有情况下的搜索时间均降至1个密西西比州。 由于我的数据很小，因此用于该索引的内存量可以忽略不计。
总结
以上所述是小编给大家介绍的使用Django和Postgres进行全文搜索的实例代码，希望对大家有所帮助！
相关文章
这篇文章主要为大家详细介绍了机器学习的框架偏向于Python的13个原因，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
这篇文章主要介绍了python import模块时有错误红线的原因及解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
本文主要介绍了Pycharm创建Django项目示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
Pycharm配置导入torch报错Traceback的问题及解决
这篇文章主要介绍了Pycharm配置导入torch报错Traceback的问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
这篇文章主要介绍了记录一下scrapy中settings的一些配置小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
这篇文章主要介绍了如何基于Python语言，读取Excel表格文件数据，并基于其中某一列数据的值，将这一数据处于指定范围的那一行加以复制，感兴趣的可以了解一下2023-07-07
今天小编就为大家分享一篇Python 实现文件打包、上传与校验的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
有关pycharm登录github时有的时候会报错connection reset的问题
这篇文章主要介绍了有关pycharm登录github时有的时候会报错connection reset的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-09-09
Python中的字符串是一种不可变的序列类型，使用单引号（'）或双引号（"）括起来。本文整理概述了python中字符串常用方法，文中有详细的代码示例，对学习或工作有一定的帮助，需要的同学可以参考一下2023-05-05
Python操作SQLite数据库的方法详解【导入,创建,游标,增删改查等】
这篇文章主要介绍了Python操作SQLite数据库的方法,简单说明了sqlite数据库的相关概念,并结合实例形式较为详细的分析了Python针对sqlite数据库的导入,创建,游标,增删改查等操作技巧,需要的朋友可以参考下2017-07-07
最新评论