Re: системы репликации с регулируемой избыточностью, есть?

On 03/09/2011 09:28 AM, Dmitry E. Oboukhov wrote:
> есть распределенная система, которая сделана что называется "на
> коленке"
>
> состоит из узлов "DB - RPC"
>
> DB - первоначально был MySQL, ща какие-то узлы в Pg преобразовали, но
> это не суть.
>
> суть в том что данных много и серверов к сожалению тоже много.
>
> сделали на уровне RPC нечто следующее:
>
> 1. запись попадая на любую ноду помечается как нереплицированная
> 2. на каждой ноде нереплицированные записи демон репликации сплавляет
> n - 1 другим серверам в виде копии
>
> где n - установленный уровень избыточности
>
> ну а для полной выборки данных получается по RPC надо обратиться к
> количеству серверов N - n + 1 (где N - общее количество серверов в
> игре). n обычно<= N / 10. а так же n>= 2.
>
> поскольку выборка получается накладноватая, то интерактивные
> приложения держат локальные кеши.
>
>
> вот интересен вопрос: есть ли что-то готовое на эту тему? я чет рыл по
> инету на эту тему, но все системы что удалось найти - n = N. Хорошо
> конечно, но черезчур избыточно для данной задачи.
>
> и вообще, тут много спецов уровнем сильно выше моего, покритикуйте
> схемку? :)

Очень похоже на мускулевский NDB. Правда рулить какие данные где, вроде
как, там нельзя, но в остальном все так и есть.
Я бы наверно делал на уровне приложения, т.е. набор отреплицированных
серверов и приложение само решает, куда что хранить. ИМХО, это позволит,
зная какие у нас выборки, более оптимально положить данные.
Еще есть скайповский PL/Proxy - по сути то же самое, но на уровне
хранимый процедур.