UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Introducción 5
iguales, el compilador de Hive no se da cuenta y genera trabajos mapreduce similares
o repetidos reduciendo el rendimiento de Hive. Además, en ocasiones el compilador
está generando trabajos mapreduce innecesarios para otro tipo de consultas, por lo que
se plantea el problema de ¿Cómo identificar y eliminar trabajos mapreduce
innecesarios y repetidos generados para una consulta HiveQL?, con el
objetivo de mejorar el desempeño de consultas OLAP en Hive.
Una consulta HiveQL pasa por 4 fases para compilarse en una serie de trabajos
mapreduce: Un análisis léxico donde se crea un
Árbol Sintáctico Abstracto (AST)
como representación gráfica de la sentencia HiveQL; después pasa por un análisis
sintáctico y semántico donde se crea un DAG 2 como representación interna de la
consulta HiveQL en Hive; después pasa por una fase de optimización del DAG; y por
último se contruyen los trabajos mapreduce a partir del DAG optimizado.
Esta tesis tuvó como objetivo mejorar el optimizador de consultas de Hive, para
esto se hizó un análisis de los DAG’s que generaron un grupo de consultas OLAP
utilizadas ampliamente en estudios de Datawarehouse y bases de datos. En base
al análisis se llegó a la conclusión que las optimizaciones actuales de Hive están
pensadas para optimizar la ejecución de una consulta en cada trabajo mapreduce
que se construye, tomando en cuenta las condiciones del ambiente MapReduce. Sin
embargo, cuando las consultas involucran subconsultas similares o iguales, Hive no se
da cuenta de ello y duplica operaciones en el DAG de tal modo, que al transformarse el
DAG a trabajos mapreduce se duplican trabajos mapreduce optimizados. Por supuesto,
esto no es conveniente debido a que cada trabajos mapreduce implica un costo de
lectura/escritura, un costo de red y un costo de procesamiento en cada nodo del
clúster. Así mismo, nos dimos cuenta que en consultas que involucran funciones de
agregación y agrupación (sum(), avg(), max(), entre otras), en algunas ocasiones están
creando un trabajo mapreduce innecesario por cada función de agregación y agrupación
implicada. Se realizó un análisis de como realiza las optimizaciones internamente
Hive y se agregó dos optimizaciones al compilador de Hive que buscan solucionar
2 Un DAG es un grafo dirigido que no contiene ciclos.
Cinvestav Departamento de Computación