|
Персональные инструменты |
![]() |
||
|
![]() |
![]() ADD 2010: Отчёт Русецкого Георгия/Apache HadoopМатериал из CustisWiki< ADD 2010: Отчёт Русецкого Георгия
Версия от 19:51, 16 ноября 2011; StasFomin (обсуждение | вклад) (Новая страница: «;Apache Hadoop (Владимир Климонтович на ADD-2010) Доклад про свободный фреймворк <tt>Apache Hadoop</tt> подд...») Доклад про свободный фреймворк Apache Hadoop поддерживающим выполнение распределённых приложений, работающих на больших кластерах, построенных на обычном оборудовании. Докладчик рассказал про алгоритм MapReduce, используемый во фреймворке и распределённую файловую систему HDFS. Немного затронул тему перевода SQL-выражений в термины map-reduce. Были приведены примеры использования фреймворка в проектах Yahoo и Last.fm. Далее следовал рассказ об Apache Hive — инфраструктуре хранения и обработки данных, построенной поверх Hadoop. Возможные области применения: research, data mining, reporting. Достоинства:
Недостатки:
В завершении доклада было рассказано о реализации Bigtable БД поверх Hadoop — Hbase. В целом было интересно. |
![]() |
![]() |
![]() |