{"id":350,"date":"2019-09-10T21:09:56","date_gmt":"2019-09-10T21:09:56","guid":{"rendered":"https:\/\/www.digitaldrimz.com\/tusociotecnologico\/?p=350"},"modified":"2024-07-25T12:05:16","modified_gmt":"2024-07-25T12:05:16","slug":"hadoop-mapreduce-o-spark-nuestro-dilema-entonces","status":"publish","type":"post","link":"https:\/\/www.digitaldrimz.com\/tusociotecnologico\/hadoop-mapreduce-o-spark-nuestro-dilema-entonces\/","title":{"rendered":"[HADOOP] MAPREDUCE o SPARK… nuestro dilema entonces."},"content":{"rendered":"
\n
\"\"<\/figure><\/div>\n\n\n

La verdad es que cuando comenzamos a crear nuestro primer ETL con Hadoop<\/strong><\/a>, las primeras herramientas que analizamos trabajaban sobre MapReduce<\/strong><\/a>, y cuando dije que trabajaban, digo que no se pod\u00eda utilizar otra herramienta [m\u00e1s adelante, se pudo cambiar, pero en aquel momento no]. Hive<\/strong><\/a>, Sqoop<\/strong><\/a>, etc.. todas ellas, trabajaban exclusivamente con MapReduce<\/strong><\/a>.\u00a0
<\/p>\n\n\n\n

Obviamente MapReduce <\/strong><\/a>era un motor incre\u00edble de computaci\u00f3n, con varios a\u00f1os en sistemas de producci\u00f3n, y eso da estabilidad. Y a los arquitectos de sistemas, eso nos encanta\u2026 bueno, a los arquitectos de sistemas poco atrevidos.
<\/p>\n\n\n\n

En aquel momento, lleg\u00f3 a mis o\u00eddos una nueva herramienta, un motor de procesamiento que se supon\u00eda que era mucho m\u00e1s r\u00e1pido que MapReduce<\/strong><\/a>, un sistema que promet\u00eda tanto que obviamente cre\u00f3 un gran revuelo. Y todos los benchmark que le\u00eda, no hac\u00edan m\u00e1s que confirmarlo. \u00bfAdivinas qu\u00e9 es lo que hice?
<\/p>\n\n\n\n

Lo primero que hice fue instalarlo en mi sistema de pruebas. Conoc\u00eda todos los requisitos, ya que hab\u00eda le\u00eddo que, como el Google Chrome actual [el de 2019, por supuesto], consum\u00eda memoria que daba gusto [vamos un vampiro] y no me equivoqu\u00e9. El sistema de pruebas se qued\u00f3 sin memoria en poco tiempo, con un dataset peque\u00f1o, mientras que el mismo dataset pudo ser computado sin problemas con MapReduce<\/strong><\/a>, en el mismo sistema.
<\/p>\n\n\n\n

As\u00ed que indagu\u00e9 en la arquitectura de MapReduce <\/a><\/strong>y en la arquitectura de Spark<\/strong><\/a>, y entend\u00ed el porqu\u00e9 uno era lento, pero confiable y llevaba mucho tiempo en producci\u00f3n, y otro era muy r\u00e1pido.\u00a0
<\/p>\n\n\n\n

MapReduce<\/strong><\/a>\u00a0es un sistema que en cada iteraci\u00f3n de computaci\u00f3n almacena en disco duro el resultado, esto permite tener un sistema confiable y resistente a fallos.

<\/span><\/div><\/span><\/p>\n\n\n\n
\"\"\/<\/figure>\n\n\n\n

<\/p>\n\n\n\n

Spark <\/strong><\/a>por el contrario almacena en cada iteraci\u00f3n de computaci\u00f3n el resultado en memoria en RDD, lo que permite tener un sistema de r\u00e1pido acceso a los resultados y una computaci\u00f3n rapid\u00edsima, ya que se elimina el delay de acceso a disco duro.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Seguramente, ya has notado porque es m\u00e1s r\u00e1pido, no es por los algoritmos solamente, sino por el consumo de memoria. Esto realmente es incre\u00edble para el procesamiento en tiempo real, y de hecho es para lo que lo utilizamos, pero, imagina que tienes un cluster solo con Spark, has de saber que toda la memoria va a ser consumida por Spark<\/strong><\/a>, como si no hubiera ma\u00f1ana. Y claro est\u00e1, la memoria es much\u00edsima m\u00e1s costosa que el disco duro.
<\/p>\n\n\n\n

As\u00ed pues, nosotros al utilizar una arquitectura Lambda en ese momento [no te preocupes, lo explicar\u00e9 en otra entrada], utilizamos Spark <\/strong><\/a>en la parte de procesamiento de tiempo real, pero segu\u00edamos utilizando MapReduce <\/strong><\/a>en la parte de procesamiento batch, ya que MapReduce <\/strong><\/a>es bastante estable\u2026 y porque Hive <\/strong><\/a>era el motor que utiliz\u00e1bamos en la parte de batch.
<\/p>\n\n\n\n

Resumiendo, en mi experiencia, s\u00e9 que en 2019, no hay mucho que decir entre MapReduce <\/strong><\/a>y Spark<\/strong><\/a>, Spark <\/strong><\/a>es una herramienta muy utilizada en casi todos los pipeline de procesamiento, sobre todo por la arquitectura Kappa utilizada por las empresas, pero, tambi\u00e9n he de decir, que llevo utilizando herramientas como Hive <\/strong><\/a>o Sqoop <\/strong><\/a>con MapReduce <\/strong><\/a>a\u00f1os, y nunca he tenido problemas, en serio, ning\u00fan tipo de problema, pero cuando he cambiado en Hive <\/strong><\/a>el motor, y he utilizado ORC, Spark <\/strong><\/a>u otra herramienta de procesamiento, he encontrado problemas que con MapReduce <\/strong><\/a>no he tenido.<\/p>\n\n\n\n

Si quieres hacerme un comentario, no dudes en seguirme o hacerme un comentario referenci\u00c3\u0083\u00c2\u00a1ndome a Rafael Piernagorda<\/a><\/strong><\/p>\n\n\n\n