PgBadger et variable de dossier temporaire en Perl

From: David TECHER <davidtecher(at)yahoo(dot)fr>
To: Pgsql Fr Generale <pgsql-fr-generale(at)postgresql(dot)org>
Subject: PgBadger et variable de dossier temporaire en Perl
Date: 2017-08-29 12:59:02
Message-ID: 919519824.5928540.1504011542205@mail.yahoo.com
Views: Whole Thread | Raw Message | Download mbox | Resend email
Thread:
Lists: pgsql-fr-generale

Bonjour à l'équipde de DALIBO et à toute la communauté PostgreSQL.
J'utilise avec succès pgbadger -- depuis maintenant un an et demi --  pour parser des logs quotidiens de prod dépassant les 110GB 
Une telle capacité de logs à parser requiert de générer énormément de fichiers temporaires
Exemple pou 156GB de logs PostgreSQL à parser, pgbagder génère 12GB de fichiers à 62% de l'analyse.
Or autant de GB ne peuvent tenir dans /tmp!!!
Du coup, je dois faire pointer ces fichiers temporaires par exemple vers le répertoire autre que /tmp --  par exemple /var/database/backups/tempfiles. --
Mon souci est le module de base de gestion de fichier de Perl sur lequel repose le code de pgbadger. Un scan rapide du code montre que celà (devrait) repose(r) sur 
use File::Temp qw/ tempfile /;

Je tiens à préciser que je ne suis pas un expert Perl.
Je sais que ce module Perl est  affecté par/prend en compte la variable d'environnement POSIX pour les fichiers temporaires.
Malheureusement je ne sais pas laquelle c'est. Du coup je suis obligé d'improviser en tentant plusieurs variables d'environnement.
export TMPDIR=/var/database/backups/tempfilesexport TMP_DIR=/var/database/backups/tempfilesexport TMP=/var/database/backups/tempfilesexport TEMP=/var/database/backups/tempfilesexport TEMPDIR=/var/database/backups/tempfilesexport TEMP_DIR=/var/database/backups/tempfiles
Ca marche dans le sens où les fichiers temporaires vont être générés dans  /var/database/backups/tempfilesLà n'est pas le souci.
Le souci est que la vrai variable d'environnement n'est pas explicitement fournie dans la doc de Perl http://perldoc.perl.org/File/Temp.html 
Si un expert Perl ou un contributeur pgbadger pouvait me dire laquelle des lignes ci-dessus est vraiment à utiliser pour nettoyer mon script.
Scanner plus de 100GB de  logs quotidiens prend de 2h00 à 4h00. Je ne peux pas me permettre d'enlever la moindre ligne juste pour tester en production -- les résultats sont exploités par nos équipes applicatives en production --
Cordialement.David

Responses

Browse pgsql-fr-generale by date

  From Date Subject
Next Message Daniel Verite 2017-08-29 13:42:17 Re: PgBadger et variable de dossier temporaire en Perl
Previous Message Damien Clochard 2017-08-27 14:07:19 Re: Attention Travaux ! Upgrade de la plateforme postgresql.fr