Implementación de una Arquitectura Analítica BIG DATA basada en herramientas de software libre

Abstract

RESUMEN Cualquier acción que realizamos en internet (la compra de un artículo de ropa, consulta de vuelos, navegar por algunas webs, etc.) deja una huella digital muy valiosa. El auge de las nuevas tecnologías ha provocado que generemos grandes cantidades de estos datos. Estos grandes volúmenes de datos son imposibles de analizar o procesar mediante métodos convencionales. Debido a la limitación en el tratamiento de estas cantidades de datos, nace el concepto Big Data. Debido al gran volumen de datos que comienzan a manejar muchas organizaciones en Venezuela, en muchos casos se requieren de soluciones tecnológicas distintas al modelo relacional, el cual no está diseñado para manejar tantos datos de manera óptima; y mucho menos en el procesamiento y cálculo de indicadores que ayuden a la toma de decisiones sobre dicho volumen de datos. Entre estas organizaciones encontramos el Sistema de Mercado de Alimentos Misión Mercal C.A., el cual maneja una cantidad considerable de datos transaccionales diariamente en sus tiendas encargadas de los registros de inventarios, ventas, compras, cuentas, etc, a nivel nacional. Este Trabajo Especial de Grado tiene como objetivo desarrollar e implementar una arquitectura analítica de Big Data para almacenar, procesar, calcular, visualizar y consultar indicadores originados por grandes volúmenes de datos, en el que actualmente las operaciones de consulta sobre el modelo relacional en más de cien millones de registros, no son capaces de ejecutarse en menos de cinco segundos sobre las tablas del sistema. En el presente TEG se hace uso de la metodología Attribute Driven Design para diseñar la arquitectura, luego se implementa cada uno de sus componentes con herramientas de software libre, haciendo fuerte mención en Apache Hadoop como estacionamiento, Apache Hive como Almacén de Datos sobre Hadoop y motor de consultas y HUE (Hadoop User Experience, por sus siglas en inglés) como herramienta de administración y visualización de reportes y datos, además de fuentes de datos diversas. Palabras claves: Mercado de Alimentos, Big Data, Arquitectura Analítica.