Просмотр исходного текста страницы Отчет о конференции ADD-2010 - Владислав Иофе/Apache Hadoop

;[[Apache Hadoop (Владимир Климонтович на ADD-2010)]]

Было рассказано о NoSQL-платформе <tt>[http://hadoop.apache.org/ Apache Hadoop]</tt>. Платформа позволяет отложенно распределенно обрабатывать большие объемы данных. Обработка состоит из двух шагов: <tt>Map</tt> — представление исходных данных (любых, хоть из текстовых файлов) в виде ключ-значение, и <tt>Reduce</tt> — обработка, например, агрегирование. Шаги описываются на <tt>Java</tt>.

Были приведены примеры использования.

Хотя система нестабильна (да, много багов!) и дорога в обслуживании (найди дурака за этим следить на fulltime), даже крупные компании не гнушаются ее использовать (Google, Yahoo, Facebook). Мало того, платформа обросла сопутствующими технологиями. Например, трансляция <tt>SQL</tt>-запросов в <tt>MapReduce</tt>-задачи.

Оценка: :)