Skip site navigation (1) Skip section navigation (2)

Re: CONSEJO tablas grandes

From: Gabriel Ferro <gabrielrferro(at)yahoo(dot)com(dot)ar>
To: pgsql-es-ayuda(at)postgresql(dot)org
Subject: Re: CONSEJO tablas grandes
Date: 2008-11-26 10:57:11
Message-ID: 291615.99174.qm@web52110.mail.re2.yahoo.com (view raw or flat)
Thread:
Lists: pgsql-es-ayuda
mmm.. arme un topic que hizo furor...jee..
bueno la cosa es que les simplifique la realidad... la idea que tenia es tener en distintos esquemas distintos tipos de tablas, por ejemplo
esquema padrones con datos de personas
esquema rentas con datos de autos e inmobiliario
esquema servicios con datos de disitntos servicios, como luz, cable, etc.
esquema delitos con infromacion delictual... (sip.. soy poli)...

y por supuesto todo esta interrelacionado

Hice un programita que realiza consultas complejas por ejemplo
buscar una persona que
--se llama hugo
-- tatuaje en hombro derecho
--que tiene un renault 9 
--una casa en Parana

y todo lo que se les antoje complicarlo...

pensando solo en personas, por mi experiencia las consultas en un 99% o son por numero de documento (no hay repetidos, al menos en su mismo tipo, no recuerdo alguie dijo que tenia casos,la verdad no me ha pasado) o bien por nombres (generalmente el apellido y un nombre), el resto sera mas complejo como el ejemplo anterior.

Diego me dice que 20millones no es tanto, si es asi las dejo como esta.
Lo de saparar en dos el nombre y el apellido, es buena idea, creo, ......

Lo de realizar pruebas, estoy en eso, pero se me ha complicado, antes de pasar al server linux, lo estoy haciendo sobre un postgres sobre XP y solo para el padron tengo que cargar 5 archivos de 400Mb de texto plano, por si las moscas, los separe en archivos de 50Mb (unas 650000 personas) y aun asi para pasar uno de ellos a postgre me tardo 27Hs. y porsup. me deja la maquina inservible hasta terminar... y... es XP !!!.
La demora se debe a que el archivo plano tiene la forma
    docu    clase    nombre    direccion   ocupa    localidad provincia   tipodoc    sexo

 asi que saco la localidad, la busco en su tabla, obtengo su clave...
saco la provincia.... obtengo su clave...
saco el tipodoc, obtengo su clave
busco la persona, sino esta la cargo, si esta comparo los datos con los cargados y agrego los nuevos, por ejemplo otro domicilio, u otro nombre, etc...

Ademas tengo que controlar algunos campos porque tienen errores, hay tipodoc con cualquier cosa a los que debo ponerle un "OTROTIPO", etc...

Como veran es complicadito....



      Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/

In response to

Responses

pgsql-es-ayuda by date

Next:From: Gabriel FerroDate: 2008-11-26 11:19:25
Subject: Re: CONSEJO tablas grandes
Previous:From: Conrado BlasettiDate: 2008-11-26 09:28:28
Subject: RE: 911

Privacy Policy | About PostgreSQL
Copyright © 1996-2014 The PostgreSQL Global Development Group