Re: Duplication des données insérées dans un fichier

Bonjour Dim,

Dimitri Fontaine a écrit :
>> - Pensez-vous que cette solution soit implantable et viable ?
>
> Non.

Marc nous a montré que l'idée était implantable. Reste à savoir si elle
est viable. (c:

> Si par exemple ton système de fichiers où tu entreposes les CSV est
> plein, le trigger échoue et la transaction subit un rollback.

Dès que mon collègue a évoqué la copie dans des fichiers CSV des données
insérées en base, j'ai insisté sur la nécessité de vérifier que les
fichiers seront effectivement consommées et supprimés au risque de
saturer l'espace disque.

> Je pense qu'il te faut un traitement asynchrone.

Le problème que j'ai avec les traitements asynchrones, c'est
l'asynchronisme. (c:

Plus sérieusement, mon collègue doit limiter le retard dans la mise à
disposition des données dans des fichiers CSV.

Mais je ne connais absolument pas PGQ. Je viens de jeter un oeil au
support d'une conférence donnée lors du PgCon 2008. La solution semble
intéressante. L'un des cas d'utilisation présentés concerne justement la
réplication de données (mais dans une autre base) via Londiste.

Ta suggestion semble donc pertinente mais elle oblige plus ou moins mon
collègue à introduire du Python et, surtout, un outil tiers. Or, je ne
sais pas quelle est sa marge de manoeuvre. Je vais lui parler de PgQ et
on verra bien s'il veut creuser le sujet.

En tout cas, je reconnais que l'avantage de PgQ est bien, comme tu le
disais, de dissocier l'insertion en base de la duplication dans des
fichiers. La première peut donc réussir indépendamment de la seconde.
C'est à prendre en considération. Autre élément en faveur de cette
approche. La copie synchrone des données dans un fichier CSV ralenti
forcément les insertions et les applications qui les font. Là encore,
PgQ éviterait le problème.

> Quelques références :
> http://skytools.projects.postgresql.org/doc/pgq-sql.html
> http://pgsql.tapoueh.org/pgq/pgq-php/

Tiens, tapoueh.org, ça me dit quelque chose. (c:

> Si tu veux jouer avec PGQ mais manque d'information, n'hésite pas à me
> solliciter :)

C'est bien ce que j'avasi cru comprendre en voyant les liens précédents. (c;

Merci.

A++, Sébastien

--
Sébastien Dinot, sebastien(dot)dinot(at)free(dot)fr
http://sebastien.dinot.free.fr/
Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !