Re: RE : [pgsql-fr-generale] Volumes importants - lenteur.

Le 17 octobre 2011 21:20, Marie-Claude QUIDOZ
<Marie-Claude(dot)QUIDOZ(at)cefe(dot)cnrs(dot)fr> a écrit :
> Bonjour
>
> Merci pour vos réponses. je vais peut être poser ma question différemment.
>
> J'ai besoin de traiter des tables de plusieurs millions d'enregistrement
> (max 10 000 000 a ce jour), j'ai regardé la doc de postgresql. il semblerait
> qu'il n'y ait pas de limite pour le nombre d'enregistrement d'une table
> (j'ai trouvé uniquement des limites pour la taille de cette table). D'où mes
> essais de manipulation mais qui ne sont pas très concluants.. d'où mes
> doutes ...mais je pense que Postgresql permet de gérer de telles masses
> d'informations.
>
> En espérant que ca soit plus clair

Pour vous rassurer: Je connais des tables de plus de 650 Millions de
lignes (soit plus de 150GB pour la table, tout compris) fortement
utilisées, pour 400Millions de transactions par jour.

La qualité dépend des requetes et des index, du type de transactions,
comme toujours,
Et du matériel bien sur.

>
> A+
>
> MCQ
>
> Marie-Claude Quidoz
> CEFE - UMR5175
> Marie-Claude(dot)Quidoz(at)cefe(dot)cnrs(dot)fr
> ________________________________
> De: pgsql-fr-generale-owner(at)postgresql(dot)org de la part de Dimitri Fontaine
> Date: lun. 17/10/2011 18:32
> À: Marie-Claude QUIDOZ
> Cc: pgsql-fr-generale(at)postgresql(dot)org
> Objet : Re: [pgsql-fr-generale] Volumes importants - lenteur.
>
> Bonsoir,
>
> "Marie-Claude QUIDOZ" <Marie-Claude(dot)QUIDOZ(at)cefe(dot)cnrs(dot)fr> writes:
>> j'aurai aimé retrouver tout le fil de cette discussion, histoire de voir
>> si
>> mon problème est équivalent (j'ai 3 000 000 enregistrements dans 1 table
>> de
>> 4 GO, les update sont très lent et le select - avec psql - part dans les
>> choux avec 'mémoire épuisée pour le résultat de la requête" bien que le
>> gestionnaire de tache montre qu'il n'utilise que 1 G0 des 5 G0 de ma
>> machine).
>
> Le client psql va tenter de récupérer l'ensemble du jeu de résultat
> avant de l'afficher, et le mettre en mémoire côté client.  Il est
> possible d'éviter cela en utilisant un curseur, qui laisse le résultat
> en mémoire côté serveur et transfère les données vers le client au fur
> et à mesure des demandes.
>
> Si la machine cliente ne sature pas en mémoire, c'est peut être le
> serveur qui ne suit pas.  Est-il nécessaire de monter l'ensemble des
> données en mémoire ?
>
> Il faudrait en savoir plus pour mieux répondre, cependant,
> --
> Dimitri Fontaine
> http://2ndQuadrant.fr     PostgreSQL : Expertise, Formation et Support
>
> --
> Sent via pgsql-fr-generale mailing list (pgsql-fr-generale(at)postgresql(dot)org)
> To make changes to your subscription:
> http://www.postgresql.org/mailpref/pgsql-fr-generale
>

--
Cédric Villemain +33 (0)6 20 30 22 52
http://2ndQuadrant.fr/
PostgreSQL: Support 24x7 - Développement, Expertise et Formation