|
Персональные инструменты |
|||
|
|
РИТ:Высокие нагрузки-2008 (Отчет Стаса Фомина)/Практическое использование Hadoop в системе интернет-статистикиМатериал из CustisWiki< РИТ:Высокие нагрузки-2008 (Отчет Стаса Фомина)
Версия от 22:23, 9 апреля 2011; StasFomin (обсуждение | вклад) (Новая страница: «=== Практическое использование Hadoop в системе интернет-статистики === * [http://www.slideshare.net/profyclub/hl2...») Практическое использование Hadoop в системе интернет-статистикиРазумное и модное решение задачи параллельной обработки и агрегации логов посещения сайтов. Используется фреймворк Hadoop (параллельные вычисления в парадигме map/reduce), который для таких задач вроде как идеально предназначен, и в общем-то единственно доступный (опен-сорс), ибо гугловый аналог закрыт, а больше вроде ничего нет. Кластер относительно небольшой (12 восьмиядерников с 8Gb памяти), но справляется. Два прохода:
Ну и всякие там хитрости, вроде все разумно. Опять таки, убьют наверно баннерорезки и этот бизнес. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||