Персональные инструменты
 

РИТ:Высокие нагрузки-2008 (Отчет Стаса Фомина)/HCS — система хранения данных в Рамблере

Материал из CustisWiki

Перейти к: навигация, поиск

HCS — система хранения данных в Рамблере

HCS (Hierarchically Compressed Stream) — некая библиотека для реализации некоторой алгебры операций (слияния, фильтрация, агрегация,…) над сверхбольшими плоскими файлами. (1011 строк, 10Tb/ 200Gb обновлений в день).

Работает быстро (сравнивали правда с неоптимизированными движками MySQL), но, насколько я понял, это не параллелиться (а ведь есть Hadoop, который вроде как можно было бы применить для этих задач).

Вроде готовится к публикации в опен-сорс.

Примечание два года спустя — так и не выложили.