使用Django的CONN_MAX_AGE设置pgbouncer的理想配置

Question

使用Django的CONN_MAX_AGE设置pgbouncer的理想配置

27

我在运行一个多租户网站，在这里我想减少每个请求创建一个PostgreSQL连接的开销。Django的CONN_MAX_AGE可以实现这一点，但会产生很多空闲的 PostgreSQL 连接（8个工作进程 * 20个线程 = 160个连接）。每个连接占用10MB内存，这将消耗大量内存。

主要目的是减少连接时间开销。因此，我的问题如下：

我应该使用哪种设置来解决这个问题？（例如 PgBouncer）
我能否在 Django 中使用“事务”池模式？
是否最好使用像https://github.com/kennethreitz/django-postgrespool这样的东西代替Django的池化？

Django 1.6 设置:

DATABASES['default'] = {
    'ENGINE':   'django.db.backends.postgresql_psycopg2',

     ....

    'PORT': '6432'
    'OPTIONS': {'autocommit': True,},
    'CONN_MAX_AGE': 300,
}

ATOMIC_REQUESTS = False   # default

Postgres：

max_connections = 100

PgBouncer：

pool_mode = session     # Can this be transaction?
max_client_conn = 400   # Should this match postgres max_connections?
default_pool_size = 20
reserve_pool_size = 5

- vdboor

请问您最终做了什么更新吗？ - Anurag

max_client_conn - 不应该与Postgres设置匹配。 pgbouncer 应该接受这么多连接，这些连接将在池中等待处理，当 pgbouncer 真正的数据库连接被释放/未使用时。 - smido

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Seán Hayes · Accepted Answer

这是我用过的一个设置。

pgbouncer与gunicorn、celery等运行在同一台机器上。

pgbouncer.ini：

[databases]
<dbname> = host=<dbhost> port=<dbport> dbname=<dbname>

[pgbouncer]
: your app will need filesystem permissions to this unix socket
unix_socket_dir = /var/run/postgresql
; you'll need to configure this file with username/password pairs you plan on
; connecting with.
auth_file = /etc/pgbouncer/userlist.txt

; "session" resulted in atrocious performance for us. I think
; "statement" prevents transactions from working.
pool_mode = transaction

; you'll probably want to change default_pool_size. take the max number of
; connections for your postgresql server, and divide that by the number of
; pgbouncer instances that will be conecting to it, then subtract a few
; connections so you can still connect to PG as an admin if something goes wrong.
; you may then need to adjust min_pool_size and reserve_pool_size accordingly.
default_pool_size = 50
min_pool_size = 10
reserve_pool_size = 10
reserve_pool_timeout = 2
; I was using gunicorn + eventlet, which is why this is so high. It
; needs to be high enough to accommodate all the persistent connections we're
; going to allow from Django & other apps.
max_client_conn = 1000
...

/etc/pgbouncer/userlist.txt:

：

"<dbuser>" "<dbpassword>"

Django的settings.py：

...
DATABASES = {
    'default': {
        'ENGINE': 'django.contrib.gis.db.backends.postgresql_psycopg2',
        'NAME': '<dbname>',
        'USER': '<dbuser>',
        'PASSWORD': '<dbpassword>',
        'HOST': '/var/run/postgresql',
        'PORT': '',
        'CONN_MAX_AGE': None,  # Set to None for persistent connections
    }
}
...

如果我没记错的话，你可以在pgbouncer上拥有任意数量的“持久性”连接，因为pgbouncer会在Django完成对它们的使用后将服务器连接释放回池中（只要你在pool_mode中使用transaction或statement）。当Django尝试重用其持久连接时，pgbouncer会等待可用的与Postgres的连接。