R: repeated out of shared memory error - not related to max_locks_per_transaction

I’ve not given up. I’m just collecting more data to better understand the root cause.

I was suggested to thorough investigate extensions.

Just to recap, I started with (I am including here only relevant data, you can find the complete configuration in the first email) max_locks_per_transaction at 384, 92GB of RAM, 23Gb of shared buffers, and

"plpgsql"

"mysql_fdw"

"multicorn" (ldap access)

"pg_cron"

"tds_fdw"

"pg_stat_statements"

Since then, I removed tds_fdw and pg_stat_statements, and I stopped all the queries using mysql_fdw. Multicorn refreshes a materialized view every 30 minutes, and so I don’t think it could be responsible of a continuous increase, minute after minute.

We are working to install pgagent and remove pg_cron too.

Then, I’ve been collecting shared memory usage every minute.

I see a constant increase of shared memory, more or less 200k every minute. When all users stop it decreases and sometimes it stops, but then it restarts without a clear reason.

AFTER removing pg_stat_statements and increasing max_locks_per_transaction to 512 we haven’t experienced anymore “out of shared memory” messages.

I don’t know if I’ve just postponed the moment they will start, or if something is really changed (I’m inclined to not be too optimist, as the increase continues)

As for now we are at

lun 30 lug 2018, 11.07.01, CEST | Shmem: 20255156 kB

You can see here shared memory increase during last Friday morning:

ven 27 lug 2018, 10.50.01, CEST | Shmem: 19767352 kB

ven 27 lug 2018, 10.49.01, CEST | Shmem: 19767136 kB

ven 27 lug 2018, 10.48.01, CEST | Shmem: 19766320 kB

ven 27 lug 2018, 10.47.01, CEST | Shmem: 19766208 kB

ven 27 lug 2018, 10.46.01, CEST | Shmem: 19765952 kB

ven 27 lug 2018, 10.45.01, CEST | Shmem: 19765792 kB

ven 27 lug 2018, 10.44.01, CEST | Shmem: 19765616 kB

ven 27 lug 2018, 10.43.01, CEST | Shmem: 19765480 kB

ven 27 lug 2018, 10.42.01, CEST | Shmem: 19765408 kB

ven 27 lug 2018, 10.41.01, CEST | Shmem: 19765232 kB

ven 27 lug 2018, 10.40.01, CEST | Shmem: 19765072 kB

ven 27 lug 2018, 10.39.01, CEST | Shmem: 19764920 kB

ven 27 lug 2018, 10.38.01, CEST | Shmem: 19764768 kB

ven 27 lug 2018, 10.37.01, CEST | Shmem: 19764576 kB

ven 27 lug 2018, 10.36.01, CEST | Shmem: 19764520 kB

ven 27 lug 2018, 10.35.01, CEST | Shmem: 19764312 kB

ven 27 lug 2018, 10.34.01, CEST | Shmem: 19764112 kB

ven 27 lug 2018, 10.33.01, CEST | Shmem: 19763984 kB

ven 27 lug 2018, 10.32.01, CEST | Shmem: 19763976 kB

ven 27 lug 2018, 10.31.01, CEST | Shmem: 19763976 kB

ven 27 lug 2018, 10.30.01, CEST | Shmem: 19763560 kB

ven 27 lug 2018, 10.29.01, CEST | Shmem: 19763424 kB

ven 27 lug 2018, 10.28.01, CEST | Shmem: 19763224 kB

ven 27 lug 2018, 10.27.01, CEST | Shmem: 19763144 kB

ven 27 lug 2018, 10.26.01, CEST | Shmem: 19763080 kB

ven 27 lug 2018, 10.25.01, CEST | Shmem: 19762920 kB

ven 27 lug 2018, 10.24.01, CEST | Shmem: 19762776 kB

ven 27 lug 2018, 10.23.02, CEST | Shmem: 19762648 kB

ven 27 lug 2018, 10.22.02, CEST | Shmem: 19762296 kB

ven 27 lug 2018, 10.21.01, CEST | Shmem: 19762056 kB

ven 27 lug 2018, 10.20.01, CEST | Shmem: 19761848 kB

ven 27 lug 2018, 10.19.01, CEST | Shmem: 19761576 kB

ven 27 lug 2018, 10.18.01, CEST | Shmem: 19761488 kB

ven 27 lug 2018, 10.17.01, CEST | Shmem: 19761408 kB

ven 27 lug 2018, 10.16.01, CEST | Shmem: 19761900 kB

ven 27 lug 2018, 10.15.01, CEST | Shmem: 19761680 kB

ven 27 lug 2018, 10.14.01, CEST | Shmem: 19760544 kB

ven 27 lug 2018, 10.13.01, CEST | Shmem: 19760472 kB

ven 27 lug 2018, 10.12.01, CEST | Shmem: 19760336 kB

ven 27 lug 2018, 10.11.01, CEST | Shmem: 19760240 kB

ven 27 lug 2018, 10.10.01, CEST | Shmem: 19760168 kB

ven 27 lug 2018, 10.09.01, CEST | Shmem: 19760024 kB

ven 27 lug 2018, 10.08.01, CEST | Shmem: 19759232 kB

ven 27 lug 2018, 10.07.01, CEST | Shmem: 19759096 kB

ven 27 lug 2018, 10.06.01, CEST | Shmem: 19758848 kB

ven 27 lug 2018, 10.05.01, CEST | Shmem: 19758664 kB

ven 27 lug 2018, 10.04.01, CEST | Shmem: 19758528 kB

ven 27 lug 2018, 10.03.01, CEST | Shmem: 19758328 kB

ven 27 lug 2018, 10.02.01, CEST | Shmem: 19758040 kB

ven 27 lug 2018, 10.01.01, CEST | Shmem: 19757840 kB

ven 27 lug 2018, 10.00.01, CEST | Shmem: 19757696 kB

ven 27 lug 2018, 09.59.01, CEST | Shmem: 19757656 kB

ven 27 lug 2018, 09.58.01, CEST | Shmem: 19757488 kB

ven 27 lug 2018, 09.57.01, CEST | Shmem: 19757376 kB

ven 27 lug 2018, 09.56.01, CEST | Shmem: 19757240 kB

ven 27 lug 2018, 09.55.01, CEST | Shmem: 19757184 kB

ven 27 lug 2018, 09.54.01, CEST | Shmem: 19757152 kB

ven 27 lug 2018, 09.53.01, CEST | Shmem: 19746856 kB

ven 27 lug 2018, 09.52.01, CEST | Shmem: 19740408 kB

ven 27 lug 2018, 09.51.01, CEST | Shmem: 19739976 kB

ven 27 lug 2018, 09.50.01, CEST | Shmem: 19739848 kB

ven 27 lug 2018, 09.49.01, CEST | Shmem: 19739584 kB

ven 27 lug 2018, 09.48.01, CEST | Shmem: 19739480 kB

ven 27 lug 2018, 09.47.01, CEST | Shmem: 19739344 kB

ven 27 lug 2018, 09.46.01, CEST | Shmem: 19739152 kB

ven 27 lug 2018, 09.45.01, CEST | Shmem: 19739096 kB

ven 27 lug 2018, 09.44.01, CEST | Shmem: 19739072 kB

ven 27 lug 2018, 09.43.01, CEST | Shmem: 19739000 kB

ven 27 lug 2018, 09.42.01, CEST | Shmem: 19738920 kB

ven 27 lug 2018, 09.41.01, CEST | Shmem: 19738792 kB

ven 27 lug 2018, 09.40.01, CEST | Shmem: 19738600 kB

ven 27 lug 2018, 09.39.01, CEST | Shmem: 19738464 kB

ven 27 lug 2018, 09.38.01, CEST | Shmem: 19738384 kB

ven 27 lug 2018, 09.37.01, CEST | Shmem: 19738136 kB

ven 27 lug 2018, 09.36.01, CEST | Shmem: 19738008 kB

ven 27 lug 2018, 09.35.01, CEST | Shmem: 19737872 kB

ven 27 lug 2018, 09.34.01, CEST | Shmem: 19737824 kB

ven 27 lug 2018, 09.33.01, CEST | Shmem: 19737728 kB

ven 27 lug 2018, 09.32.01, CEST | Shmem: 19737600 kB

ven 27 lug 2018, 09.31.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.30.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.29.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.28.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.27.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.26.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.25.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.24.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.23.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.22.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.21.01, CEST | Shmem: 19732200 kB

ven 27 lug 2018, 09.20.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.19.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.18.02, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.17.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.16.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.15.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.14.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.13.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.12.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.11.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.10.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.09.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.08.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.07.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.06.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.05.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.04.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.03.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.02.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.01.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 09.00.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.59.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.58.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.57.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.56.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.55.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.54.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.53.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.52.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.51.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.50.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.49.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.48.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.47.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.46.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.45.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.44.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.43.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.42.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.41.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.40.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.39.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.38.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.37.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.36.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.35.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.34.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.33.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.32.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.31.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.30.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.29.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.28.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.27.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.26.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.25.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.24.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.23.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.22.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.21.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.20.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.19.01, CEST | Shmem: 19724008 kB

ven 27 lug 2018, 08.18.01, CEST | Shmem: 19724008 kB

Regards

Alfonso

Da: David Morton <david(dot)morton(at)eroad(dot)com>
Inviato: lunedì 30 luglio 2018 04:32
A: Alfonso Moscato (Merqurio) <alfonso(dot)moscato(at)merqurio(dot)it>; Rui DeSousa <rui(at)crazybean(dot)net>
Cc: Tom Lane <tgl(at)sss(dot)pgh(dot)pa(dot)us>; pgsql-admin(at)lists(dot)postgresql(dot)org
Oggetto: Re: repeated out of shared memory error - not related to max_locks_per_transaction

This thread went cold very quickly … we are experiencing the exact same symptoms on one of our test systems. Was a solution found or are the investigations / work ongoing ?

We are happy to provide any information that may be useful for our case.

David Morton
Senior Platform Engineer

MOB +64 21 544 503 EMAIL <mailto:david(dot)morton(at)eroad(dot)com> david(dot)morton(at)eroad(dot)com

<https://www.eroad.co.nz/?utm_source=email-signature&utm_medium=logo>

EROAD
Level 3, 260 Oteha Valley Road, Albany, Auckland, New Zealand
PO Box 305 394, Triton Plaza, North Shore 0757, Auckland, NZ

TEL +64 9 927 4700 TOLL FREE 0800 4 EROAD
<https://www.eroad.co.nz?utm_source=email-signature&utm_medium=text-link> www.eroad.co.nz - <http://www.twitter.com/EROADGlobal> Twitter - <https://www.linkedin.com/company/234629> LinkedIn

This message is for the named person's use only. It may contain confidential, privileged, private or proprietary information. No confidentiality is waived or lost by any mistransmission. If you receive this message in error, please immediately delete it and all copies of it from your system, destroy hard copies of it and notify the sender. You must not, directly or indirectly, use, disclose, distribute, print or copy any part of this message if you are not the intended recipient. EROAD Limited reserves the right to monitor all e-mail communications through its networks. Any views expressed in this message are those of the individual sender, except where the message states otherwise and the sender is authorised to state them to be the views of EROAD Limited. To the maximum extent permitted by law, EROAD Limited is not liable (including in negligence) for viruses or other defects or for changes made to this email or to any attachments. Before opening or using attachments, please check them for viruses and other defects.