Re: CONSEJO tablas grandes

From: Gabriel Ferro <gabrielrferro(at)yahoo(dot)com(dot)ar>
To: pgsql-es-ayuda(at)postgresql(dot)org
Subject: Re: CONSEJO tablas grandes
Date: 2008-11-26 10:57:11
Message-ID: 291615.99174.qm@web52110.mail.re2.yahoo.com
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

mmm.. arme un topic que hizo furor...jee..
bueno la cosa es que les simplifique la realidad... la idea que tenia es tener en distintos esquemas distintos tipos de tablas, por ejemplo
esquema padrones con datos de personas
esquema rentas con datos de autos e inmobiliario
esquema servicios con datos de disitntos servicios, como luz, cable, etc.
esquema delitos con infromacion delictual... (sip.. soy poli)...

y por supuesto todo esta interrelacionado

Hice un programita que realiza consultas complejas por ejemplo
buscar una persona que
--se llama hugo
-- tatuaje en hombro derecho
--que tiene un renault 9
--una casa en Parana

y todo lo que se les antoje complicarlo...

pensando solo en personas, por mi experiencia las consultas en un 99% o son por numero de documento (no hay repetidos, al menos en su mismo tipo, no recuerdo alguie dijo que tenia casos,la verdad no me ha pasado) o bien por nombres (generalmente el apellido y un nombre), el resto sera mas complejo como el ejemplo anterior.

Diego me dice que 20millones no es tanto, si es asi las dejo como esta.
Lo de saparar en dos el nombre y el apellido, es buena idea, creo, ......

Lo de realizar pruebas, estoy en eso, pero se me ha complicado, antes de pasar al server linux, lo estoy haciendo sobre un postgres sobre XP y solo para el padron tengo que cargar 5 archivos de 400Mb de texto plano, por si las moscas, los separe en archivos de 50Mb (unas 650000 personas) y aun asi para pasar uno de ellos a postgre me tardo 27Hs. y porsup. me deja la maquina inservible hasta terminar... y... es XP !!!.
La demora se debe a que el archivo plano tiene la forma
docu clase nombre direccion ocupa localidad provincia tipodoc sexo

asi que saco la localidad, la busco en su tabla, obtengo su clave...
saco la provincia.... obtengo su clave...
saco el tipodoc, obtengo su clave
busco la persona, sino esta la cargo, si esta comparo los datos con los cargados y agrego los nuevos, por ejemplo otro domicilio, u otro nombre, etc...

Ademas tengo que controlar algunos campos porque tienen errores, hay tipodoc con cualquier cosa a los que debo ponerle un "OTROTIPO", etc...

Como veran es complicadito....

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

In response to

Responses

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message Gabriel Ferro 2008-11-26 11:19:25 Re: CONSEJO tablas grandes
Previous Message Conrado Blasetti 2008-11-26 09:28:28 RE: 911