Re:

From: "Dmitry E(dot) Oboukhov" <unera(at)debian(dot)org>
To: pgsql-ru-general(at)postgresql(dot)org
Subject: Re:
Date: 2015-03-11 04:56:45
Message-ID: 20150311045645.GA11054@vdsl.uvw.ru
Views: Whole Thread | Raw Message | Download mbox | Resend email
Thread:
Lists: pgsql-ru-general

> День/Ночь добрый.

> предлагаю пропустить обсуждение о том как это сделать правильно в
> "постгресте",
> а сразу перейти к обсуждению о том как это сделать правильно вообще.

> Посмотреть в сторону "биг дата" и изучить две вещи:
> - Hadoop
> - HBase

> Дальше научиться агрегировать данные на "мап/редусе" и потом это
> лить в реляционалку для "... низнаю для чего ... ".

> Всё ... жизнь наладилась.

> Удачи. Но если будут вопросы по этим двум пунктам буду рад ответить
> в "привате".

очень сомнительный совет.
если на постгре такая задача отлично решается, то хадуп потребует
где-то x20 ресурсов железных при том что только теоретически будет
масштабируем.

PS: у нас подобная задача: собираем координаты с тысяч устройств, но
передают они их не раз в секунду а раз в 10 секунд (разница
непринципиальная).

поставили перед постгрисом аггрегатор (демончик) который либо ждет 10
секунд и сбрасывает данные в постгрис либо ждет накопления 1000 точек
и так же льет.
в итоге сейчас постгриска в контейнере OpenVZ на одном CPU вполне
собирает за день где-то 2-4гига точек и при этом отвечает быстро на
вопрос "дай мне ближайших к заданной" и отвечает относительно быстро
на вопрос "дай мне трек машинки XXX со времени A по время B"

партицируем тупо по датам: новый день - новая партиция.

--

. ''`. Dmitry E. Oboukhov
: :’ : email: unera(at)debian(dot)org jabber://UNera(at)uvw(dot)ru
`. `~’ GPGKey: 1024D / F8E26537 2006-11-21
`- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537

In response to

  • Re: at 2015-03-10 22:21:05 from Konstantin Gerasimenko

Responses

  • Re: at 2015-03-11 18:24:57 from Konstantin Gerasimenko

Browse pgsql-ru-general by date

  From Date Subject
Next Message Konstantin Gerasimenko 2015-03-11 18:24:57 Re:
Previous Message Sergey Konoplev 2015-03-11 04:19:59 Re: