Apache Hadoop 724v1x

APACHE HADOOP Hecho por : 

Angulo Osorio , Javier Fernando



Baca Pacheco Michael Javier

1

OBJETIVO PRINCIPAL El objetivo principal de este ensayo temático es investigar el Ecosistema de Hadoop. Hadoop es un marco de trabajo muy utilizado hoy en día, pero no existe información fácil de entender, ni tampoco clara. En este trabajo se pretende reunir toda la información sobre Hadoop, así como comprender la funcionalidad, la facilidad de uso, todo el ecosistema Hadoop y su aplicación. También se trató de obtener una conclusión sobre el uso de Hadoop y MapReduce. 2

¿QUÉ ES APACHE HADOOP? Es un software que fue creado en el año 2005 por Mike Cafarella y Doug Cutting de código abierto que sirve para almacenar y analizar cantidades masivas de datos, tanto estructurados como no estructurados, éste framework puede procesar grandes conjuntos de datos desordenados y obtener conocimiento y respuestas a partir de ellos, de ahí la expectación creada. 3

Hadoop Common

Hadoop YARN

MODULO S HADOOP

Hadoop Distribute d File System (HDFS)

Hadoop MapReduc e 4

CARACTERÍSTICAS Tolerancia a fallos. a datos en streaming Facilidad para el trabajo con grandes volúmenes de datos Modelo sencillo de coherencia Portabilidad de convivencia entre hardware heterogéneo Escalabilidad horizontal Localización de los datos Transparencia 5

ARQUITECTURA HADOOP Hadoop

HDFS

Map Reduce

NameNode

JobTracker Secondary NameNode TaskTracker

DataNode

TaskTracker

DataNode TaskTracker

6

FUNCIONABILIDAD • Hadoop permite utilizando la minería de datos descubrir asociaciones en archivos de registros históricos, Análisis ésta técnica se compone de una estructura utilizando MapReduce así como un análisis de frecuencia. de logs

Análisis de predictibil idad.

• Hadoop permite realizar análisis de predictibilidad apoyándose en YARN, explotando sus opciones de rendimiento predictivo para obtener un análisis integral consistente, permitir acceder a datos de forma detallada, a nuevas fuentes de datos no estructurados y a datos en tiempo real.

• La aplicación de Hadoop con las técnicas de minería de datos permiten tratar datos de grandes volúmenes, utilizando MapReduce para realizar búsquedas de manera paralela o distribuida. Hadoop sólo necesita Data compartir y dividir los patrones en vez de utilizar todo el conjunto de datos. Mining

Procesami ento de imágenes

• Para realizar el procesamiento de imágenes, se combinan metaheurísticas y el paradigma MapReduce para aplicar algoritmos robustos y eficientes para el tratamiento de imágenes en clusters Hadoop.

• Apache Hadoop permite extraer información de manera automática de páginas web y documentos utilizando el paradigma de MapReduce con eficiencia. Su uso más frecuente es en crear copias de todas las Web páginas web visitadas para su procesado con MapReduce e indexar las páginas proporcionando un sistema crawling de búsquedas rápido. 7

VENTAJAS Y DESVENTAJAS

VENTAJAS

Tecnología altamente escalable Almacenamiento a bajo costo Flexibilidad velocidad: Hadoop permite ejecutar procesamiento y realizar análisis muy rápidos. - Tolerante a fallos -

DESVENTAJAS

- Latencia para el a datos: HDFS está orientado a procesos batch y operaciones en streaming. Por lo tanto, la latencia de cualquier operación IO no ha sido optimizada - Cantidades grandes de ficheros pequeños: El límite del número de ficheros en este sistema está limitado por la memoria del NameNode - Escribe una vez, lee varias: En HDFS los ficheros solo se pueden escribir una vez - Es muy difícil de depurar - No todos los algoritmos se pueden escribir con el paradigma MapReduce - Latencia: cualquier job MapReduce suele tardar por lo menos 10 segundos

8

Casos de Éxito Se benefician del Big Data, un testimonio real: Amazon ha crecido mucho de forma bastante consistente como organización, pero muchas empresas crecen a través de la adquisición, lo que hace que la sincronización de datos sea una tarea enorme Una compañía de vehículos "propulsada" por Big Data: En Volvo, un sistema de almacenamiento de datos Teradata integra datos de configuración de productos, garantía y de diagnóstico del vehículo para apoyar el análisis técnico y de negocios en todo el ciclo de vida del producto. Da el paso para entrar en el mundo del Big Data: Con la intención de conocer mejor a sus clientes el banco ING Direct apuesta por Big Data, para analizar la información que dispone de sus clientes como toda la información externa que pueda conseguir y utilizar en la toma de decisiones. Utiliza herramientas Big Data para combatir el fraude en tiempo real: Aplicando diversos filtros de "Fraud Management" la compañía desarrolló un proceso de detección de fraude basados en datasets masivos que son analizados a través de herramientas de Big Data.

Presenta su nueva unidad de negocio "Big Data" llamada Telefónica Dynamic Insights: Permitirá utilizar el Big Data para el análisis de datos agregados y totalmente anónimos. Su producto Smart Steps utiliza estos datos para medir, comparar y comprender qué factores influyen en 9 el número.

GRACIAS 10