Персональные инструменты
 

Отчет о конференции ADD-2010 - Владислав Иофе/Apache Hadoop

Материал из CustisWiki

< Отчет о конференции ADD-2010 - Владислав Иофе
Версия от 21:10, 16 ноября 2011; StasFomin (обсуждение | вклад) (Новая страница: «;Apache Hadoop (Владимир Климонтович на ADD-2010) Было рассказано о NoSQL-платформе <tt>[http://hadoop.apache.org/ ...»)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Это снимок страницы. Он включает старые, но не удалённые версии шаблонов и изображений.
Перейти к: навигация, поиск
Apache Hadoop (Владимир Климонтович на ADD-2010)

Было рассказано о NoSQL-платформе Apache Hadoop. Платформа позволяет отложенно распределенно обрабатывать большие объемы данных. Обработка состоит из двух шагов: Map — представление исходных данных (любых, хоть из текстовых файлов) в виде ключ-значение, и Reduce — обработка, например, агрегирование. Шаги описываются на Java.

Были приведены примеры использования.

Хотя система нестабильна (да, много багов!) и дорога в обслуживании (найди дурака за этим следить на fulltime), даже крупные компании не гнушаются ее использовать (Google, Yahoo, Facebook). Мало того, платформа обросла сопутствующими технологиями. Например, трансляция SQL-запросов в MapReduce-задачи.

Оценка: :)