RE: Base de datos en tiempo Real y replicacion

From: "Fernando Hevia" <fhevia(at)ip-tel(dot)com(dot)ar>
To: "'Alvaro Herrera'" <alvherre(at)alvh(dot)no-ip(dot)org>, "'Daniel'" <daniel(dot)delaluz(at)gmail(dot)com>
Cc: "'Postgres Ayuda'" <pgsql-es-ayuda(at)postgresql(dot)org>
Subject: RE: Base de datos en tiempo Real y replicacion
Date: 2009-05-19 21:46:38
Message-ID: 2C6C9B3536CC4E38BC6723BB103F5CD3@iptel.com.ar
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

> -----Mensaje original-----
> De: Alvaro Herrera [mailto:alvherre(at)alvh(dot)no-ip(dot)org]
>
> Daniel escribió:
> > 2009/5/19 Fernando Hevia <fhevia(at)ip-tel(dot)com(dot)ar>
>
> > > Lo de "base en tiempo real" interpreto como toda
> combinación de base
> > > y hardware que tengan la velocidad necesaria para
> mantener el ritmo.
> > >
> > > Tu solución con map no suena mal pero te pregunto:
> > > ¿De qué cantidad de eventos por segundo estás hablando?
> >
> > Cuando el sistema esta estable es poco mas de 200, pero cuando se
> > produce un disturbio podemas hablar de miles.. por puerto.
>
> Dado que el número de registros es alto, parece obvio que
> debes acumularlos externamente (pero tu idea de mantenerlos
> en un map me parece bien) y luego ingresarlos en bloque a la
> base de datos ... pero evita usar una transacción para cada
> uno. Intenta, por ej., usar COPY en vez de INSERT.
>

En caso que necesites guardar cada evento en Postgres necesitarás un
mecanismo de encolamiento que te permita romper el sincronismo entre la
captura de los eventos y su guardado en la base.
Una forma muy sencilla es que tu aplicación vaya guardando los eventos a
medida que estos se presentan en archivos planos para que otro proceso lea
estos archivos y haga las inserciones en la base a su propio ritmo.

Seguramente se presentarán ventanas donde la actividad disminuya permitiendo
al proceso de carga ponerse al día. Si esto no ocurre nunca tendrás que
pensar en prescindir de una base de datos relacional o sumarizar los eventos
o invertir en un señor storage.

Saludos,
Fernando.

In response to

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message Jaime Casanova 2009-05-19 22:11:36 Re: Donde colocar en la wiki
Previous Message Luis D. García 2009-05-19 21:29:41 Re: Donde colocar en la wiki