脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → PostgreSQL → PostgreSQL内存计算

浅谈PostgreSQL消耗的内存计算方法

 更新时间：2021年01月05日 09:55:03   作者：kmblack1  
这篇文章主要介绍了浅谈PostgreSQL消耗的内存计算方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

wal_buffers默认值为-1,此时wal_buffers使用的是shared_buffers,wal_buffers大小为shared_buffers的1/32

autovacuum_work_mem默认值为-1,此时使用maintenance_work_mem的值

1 不使用wal_buffers、autovacuum_work_mem

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem）

假设PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB
autovacuum_max_workers = 3
maintenance_work_mem=1GB #默认值64MB
select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.25

此时pg满载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.

2 使用wal_buffers,不使用autovacuum_work_mem

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）

假设PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=16MB #--with-wal-segsize的默认值
autovacuum_max_workers = 3 
maintenance_work_mem=1GB
select(
 (100*(32*1024*1024)::bigint)
 + (100*(32*1024*1024)::bigint)
 + (19*(1024*1024*1024)::bigint)
 + (16*1024*1024)::bigint
 + (3 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.26

此时pg满载峰值时最多使用28.5GB内存,物理内容为32GB,还有3.5GB内存给操作系统使用.

3 同时使用wal_buffers、autovacuum_work_mem[建议使用]

计算公式为:

max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem）+ maintenance_work_mem

假设PostgreSQL的配置如下:

max_connections = 100
temp_buffers=32MB
work_mem=32MB
shared_buffers=19GB 
wal_buffers=262143kb
autovacuum_max_workers = 3
autovacuum_work_mem=256MB
maintenance_work_mem=2GB

select(
  (100*(32*1024*1024)::bigint)
  + (100*(32*1024*1024)::bigint)
  + (19*(1024*1024*1024)::bigint)
  + (262143*1024)::bigint
  + (3 * (256*1024*1024)::bigint )
  + ( 2 * (1024*1024*1024)::bigint )
)::float8 / 1024 / 1024 / 1024
--output
28.01

此时pg载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.建议所有内存消耗根据硬件配置,也就是使用这个配置.

补充：postgresql 内存使用配置

shared_buffers：这是最重要的参数，postgresql通过shared_buffers和内核和磁盘打交道，因此应该尽量大，让更多的数据缓存在shared_buffers中。通常设置为实际RAM的10％是合理的，比如50000(400M)

work_mem： 在pgsql 8.0之前叫做sort_mem。postgresql在执行排序操作时，会根据work_mem的大小决定是否将一个大的结果集拆分为几个小的和 work_mem查不多大小的临时文件。显然拆分的结果是降低了排序的速度。因此增加work_mem有助于提高排序的速度。通常设置为实际RAM的2% -4%，根据需要排序结果集的大小而定，比如81920(80M)

effective_cache_size：是postgresql能够使用的最大缓存，这个数字对于独立的pgsql服务器而言应该足够大，比如4G的内存，可以设置为3.5G(437500)

maintenance_work_mem：这里定义的内存只是在CREATE INDEX, VACUUM等时用到，因此用到的频率不高，但是往往这些指令消耗比较多的资源，因此应该尽快让这些指令快速执行完毕：给maintence_work_mem大的内存，比如512M(524288)

max_connections： 通常，max_connections的目的是防止max_connections * work_mem超出了实际内存大小。比如，如果将work_mem设置为实际内存的2%大小，则在极端情况下，如果有50个查询都有排序要求，而且都使 用2％的内存，则会导致swap的产生，系统性能就会大大降低。当然，如果有4G的内存，同时出现50个如此大的查询的几率应该是很小的。不过，要清楚 max_connections和work_mem的关系。

配置 主机: 32GB

shared_buffers = 1024MB
work_mem = 1MB
effective_cache_size = 20480MB
maintenance_work_mem = 1024MB
max_connections = 8000

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

相关文章

  • 在postgresql中运行sql文件并导出结果的操作

    在postgresql中运行sql文件并导出结果的操作

    这篇文章主要介绍了在postgresql中运行sql文件并导出结果的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL数据库事务实现方法分析

    PostgreSQL数据库事务实现方法分析

    这篇文章主要介绍了PostgreSQL数据库事务实现方法,简单讲述了事务的概念、功能,并结合实例形式分析了PostgreSQL数据库事务的定义方法及相关注意事项,需要的朋友可以参考下
    2018-08-08
  • Postgresql中json和jsonb类型区别解析

    Postgresql中json和jsonb类型区别解析

    在我们的业务开发中,可能会因为特殊【历史,偷懒,防止表连接】经常会有JSON或者JSONArray类的数据存储到某列中,这个时候再PG数据库中有两种数据格式可以直接一对多或者一对一的映射对象,接下来通过本文介绍Postgresql中json和jsonb类型区别,需要的朋友可以参考下
    2024-06-06
  • postgresql synchronous_commit参数的用法介绍

    postgresql synchronous_commit参数的用法介绍

    这篇文章主要介绍了postgresql synchronous_commit参数的用法介绍，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • 详解如何在PostgreSQL中使用JSON数据类型

    详解如何在PostgreSQL中使用JSON数据类型

    JSON（JavaScript Object Notation）是一种轻量级的数据交换格式,它采用键值对的形式来表示数据,支持多种数据类型,本文给大家介绍了如何在PostgreSQL中使用JSON数据类型,需要的朋友可以参考下
    2024-03-03
  • PostgreSQL删除更新优化操作

    PostgreSQL删除更新优化操作

    这篇文章主要介绍了PostgreSQL删除更新优化操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • postgresql中的ltree类型使用方法

    postgresql中的ltree类型使用方法

    这篇文章主要给大家介绍了关于postgresql中ltree类型使用的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用postgresql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-09-09
  • PostGreSql 判断字符串中是否有中文的案例

    PostGreSql 判断字符串中是否有中文的案例

    这篇文章主要介绍了PostGreSql 判断字符串中是否有中文的案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • 基于pgrouting的路径规划处理方法

    基于pgrouting的路径规划处理方法

    这篇文章主要介绍了基于pgrouting的路径规划处理,根据pgrouting已经集成的Dijkstra算法来，结合postgresql数据库来处理最短路径，需要的朋友可以参考下
    2022-04-04
  • PostgreSQL 实现登录及修改密码操作

    PostgreSQL 实现登录及修改密码操作

    这篇文章主要介绍了PostgreSQL 实现登录及修改密码操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01

最新评论