{"id":306,"date":"2019-09-03T21:05:04","date_gmt":"2019-09-03T21:05:04","guid":{"rendered":"https:\/\/www.digitaldrimz.com\/tusociotecnologico\/?page_id=306"},"modified":"2024-07-25T11:50:22","modified_gmt":"2024-07-25T11:50:22","slug":"hadoop-instalar-hdp-en-un-cluster-sin-conexion","status":"publish","type":"page","link":"https:\/\/www.digitaldrimz.com\/tusociotecnologico\/hadoop-instalar-hdp-en-un-cluster-sin-conexion\/","title":{"rendered":"[Hadoop] Instalar HDP en un cluster sin conexi\u00f3n"},"content":{"rendered":"
\n
\"\"\/<\/figure><\/div>\n\n\n

[Hadoop] Instalar HDP en un cluster sin conexi\u00c3\u0083\u00c2\u00b3n<\/h2>\n\n\n\n

Hadoop<\/strong>… s\u00ed, ya s\u00e9 lo que seguramente estas pensando: \u00bfporque instalar Hadoop en un cluster, si tenemos la posibilidad de utilizar la nube de Amazon?, todos los problemas con el mantenimiento, todos los problemas con la integraci\u00f3n de las herramientas<\/em>… Uff, realmente yo pensar\u00ed\u00ada lo mismo, Hadoop es un pantano en el que muy pocos les gusta meterse… y si te digo la verdad, si pudiera volver atr\u00e1s… pues mira, volver\u00ed\u00ada encantado.<\/p>\n\n\n\n

Obviamente, no hay nada mejor que luchar en las trincheras para entender c\u00f3mo funcionan todos los sistema, leerte la arquitectura, darte leches y leches con los que otros han creado, leerte el c\u00f3digo [o no], ver esquemas de arquitecturas [y comprobar que despu\u00e9s no es lo que hay en el c\u00f3digo (aqu\u00ed puedo decir lo que un compa\u00f1ero de la vieja escuela me dijo una vez: Da igual las palabras, los diagramas y los esquemas, lo \u00fanico que es real es el c\u00f3digo fuente)], eso es realmente lo que te hace crecer como programador, arquitecto, y t\u00e9cnico realmente.\u00a0
<\/p>\n\n\n\n

En fin, me voy por las ramas. 
<\/p>\n\n\n\n

Instalar Hadoop es una tarea \u00c3\u0083\u00c2\u00a1rdua, aunque Hortonworks [en otro post explicar\u00e9 porqu\u00e9 elegimos Hortonworks y no Cloudera que estaba de moda en aquel momento, os puedo adelantar que el se\u00f1or $ estuvo cerca] nos indicara en aquel momento que era tan f\u00e1cil como “play and go”… ilusos [o ilusos nosotros]. Todo esto comenz\u00f3 cuando un cliente quer\u00eda integrar un sistema de datos, y que desarrollaramos un ETL que permitiera integrar todas las partes de su sistema de recolecci\u00f3n de datos, con grandes vol\u00famenes y quer\u00eda procesamientos de estos en tiempo real. Genial, dijimos, podemos utilizar AWS y as\u00ed ellos a\u00f1adieron: “ah, y los servidores donde se van a instalar no queremos que tengan internet, todo ha de quedar en casa”\u00c3\u00a2\u00c2\u0080\u00c2”\u009d…\u00a0
<\/p>\n\n\n\n

As\u00ed que imagina lo que pensamos, pues nada instalamos Hadoop y arreando. Pero no acaba ah\u00ed la cosa: \u201cah, y esos servidores jam\u00e1s podr\u00e1n tener acceso afuera, as\u00ed que nos d\u00e1is un instalable y lo instalamos\u201d<\/p>\n\n\n\n

Ante esta situaci\u00f3n, barajamos tres situaciones.
<\/p>\n\n\n\n

1.Desarrollar un sistema con scripts de python, scala y node para integrar todo.<\/p>\n\n\n\n

2. Instalar Hadoop en servidores sin conexi\u00f3n a internet.<\/p>\n\n\n\n

3. Salimos corriendo por la puerta y nos bajamos a tomarnos una cerveza en alg\u00fan bar de M\u00e1laga.<\/p>\n\n\n\n

Evaluando ambos sistemas lo vimos r\u00e1pido. La tercera opci\u00f3n. XD
<\/p>\n\n\n\n

Ahora no, en serio, aunque la tercera opci\u00f3n fue la que elegimos en primer lugar, al final decidimos que instalar Hadoop en los servidores era lo mejor.<\/p>\n\n\n\n

As\u00ed que buscamos por internet y encontramos esto [Automated install with Ambari<\/strong>]<\/a>. Por lo que que podr\u00edamos instalar HDP dentro de un cluster con servers que est\u00e9n en una zona militarizada. Mola.
<\/p>\n\n\n\n

As\u00ed que listamos una serie de pasos que fuimos haciendo.<\/p>\n\n\n\n

Paso 1. Obtener los repositorios<\/h2>\n\n\n\n

Nosotros utilizamos Ubuntu 14, para ello, tuvimos que descargarnos el tarball de ambari<\/strong><\/a>,<\/strong> y tambi\u00e9n el HDP-utils<\/strong><\/a>.<\/p>\n\n\n\n

Paso 2. Preparar un repositorio local en la m\u00c3\u0083\u00c2\u00a1quina<\/h2>\n\n\n\n

En este paso, os dejo todos los pasos que dimos para instalar el repositorio en la m\u00e1quina.<\/p>\n\n\n\n

    \n
  1. Seleccionar un servidor [mirror server] que tenga el sistema operativo del que hemos descargado el repo.<\/li>\n\n\n\n
  2. Nos aseguramos que todos los servidores pueden conectarse con ese servidor que ser\u00e1 el mirror server.<\/li>\n\n\n\n
  3. Hay que instalar el apache o alg\u00fan http server.<\/li>\n\n\n\n
  4. Asegurarse que el mirror server tiene el apt-get manager instalado.<\/li>\n\n\n\n
  5. Crear un HTTP server [aseg\u00farate que no hay ning\u00fan tipo de firewall activado en el mirror server.<\/li>\n\n\n\n
  6. Ejecutar: mkdir -p \/var\/www\/html<\/li>\n\n\n\n
  7. Copiar todos los tarballs en el directorio del servidor web.<\/li>\n\n\n\n
  8. Ejecutar: cd \/var\/www\/html<\/li>\n\n\n\n
  9. Untar los tarballs.<\/li>\n\n\n\n
  10. Deber\u00e1n de estar de la siguiente forma [es un ejemplo]:\n
      \n
    1. \/var\/www\/html\/Ambari-2.5.2.0\/ubuntu16<\/li>\n\n\n\n
    2. \/var\/www\/html\/HDP\/HDP\/ubuntu16\/2.x\/updates\/2.6.2.14<\/a><\/li>\n\n\n\n
    3. \/var\/www\/html\/HDP\/HDP-UTILS-1.1.0.21<\/a>\/repos\/ubuntu16<\/li>\n<\/ol>\n<\/li>\n\n\n\n
    4. Aseg\u00farate que puedes entrar en estos directorios.<\/li>\n<\/ol>\n\n\n\n

      URLs for a Local Repository – No Internet Access<\/strong><\/p>\n\n\n\n

      Repository<\/strong><\/td>Base URL<\/strong><\/td><\/tr>
      Ambari Base URL<\/td>http:\/\/<web.server>\/ambari-2.5.2.0<\/a>\/<OS><\/td><\/tr>
      HDP Base URL<\/td>http:\/\/<web.server>\/hdp\/HDP\/<OS>\/2.x\/updates\/<latest.version><\/td><\/tr>
      HDP-UTILS Base URL<\/td>http:\/\/<web.server>\/hdp\/HDP-UTILS-<version>\/repos\/<OS><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
        \n
      1. Descargarse el ambari.repo [en el caso de ubuntu es ambari.list] desde el respositorio p\u00fablico<\/li>\n<\/ol>\n\n\n\n
        \nhttp:\/\/public-repo-1.hortonworks.com\/ambari\/ubuntu16\/2.x\/updates\/2.5.2.0\/ambari.list\n<\/div><\/figure>\n\n\n\n
        \nhttp:\/\/public-repo-1.hortonworks.com\/HDP\/ubuntu16\/2.x\/updates\/2.6.2.14\/hdp.list\n<\/div><\/figure>\n\n\n\n
          \n
        1. Editar el ambari.list y el hdp.list,\u00a0<\/li>\n<\/ol>\n\n\n\n
          \n


          Ambari.list:
          #VERSION_NUMBER=2.5.2.0-298
          deb http:\/\/localhost\/Ambari-2.5.2.0\/ubuntu16\/<\/a> Ambari main <\/p>\n\n\n\n

          hdp.list <\/p>\n\n\n\n


          #VERSION_NUMBER=2.6.2.14-5
          #deb           http:\/\/localhost\/HDP\/HDP\/ubuntu16\/2.x\/updates\/2.6.2.14<\/a> HDP main
          deb           http:\/\/localhost\/HDP\/HDP\/ubuntu16\/<\/a> HDP main
          deb           http:\/\/localhost\/HDP\/HDP-UTILS-1.1.0.21\/repos\/ubuntu16<\/a>\/dists HDP-UTILS main <\/p>\n\n\n\n

          <\/p>\n<\/blockquote>\n\n\n\n

          <\/p>\n\n\n\n

          <\/p>\n\n\n\n

          <\/p>\n\n\n\n

          <\/p>\n\n\n\n

          <\/p>\n\n\n\n

            \n
          1. Pon el repo en la m\u00e1quina que va a utilizar el Ambari Server en este lugar: “\/etc\/apt\/sources.list.d\/ambari.list” “\/etc\/apt\/sources.list.d\/hdp.list”<\/li>\n<\/ol>\n\n\n\n
              \n
            1. El \/etc\/apt\/sources.list se pasa a \/etc\/apt\/old.source.list\u00a0<\/li>\n\n\n\n
            2. Para actualizar la base de datos, hay que hacer apt-get update.<\/li>\n\n\n\n
            3. Creo que haciendo: add-apt-repository ppa:localhost y apt-get update<\/li>\n\n\n\n
            4. wget http:\/\/public-repo-1.hortonworks.com\/ARTIFACTS\/jdk-8u112-linux-x64.tar.gz<\/a> a \/var\/lib\/ambari-server\/resources\/jdk-8u112-linux-x64.tar.gz<\/li>\n\n\n\n
            5. wget http:\/\/public-repo-1.hortonworks.com\/ARTIFACTS\/jce_policy-8.zip<\/a> a \/var\/lib\/ambari-server\/resources\/jce_policy-8.zip<\/li>\n\n\n\n
            6. apt-get install ambari-server<\/li>\n\n\n\n
            7. ambari-server setup<\/li>\n\n\n\n
            8. ambari-server start<\/li>\n\n\n\n
            9. En un navegador ir a http:\/\/127.0.0.1:8080<\/li>\n\n\n\n
            10. admin\/admin<\/li>\n\n\n\n
            11. Click en Ambari Cluster Install Wizard.<\/li>\n\n\n\n
            12. Seleccionar HDP 2.5.2<\/li>\n\n\n\n
            13. Seleccionar Local Repository,\u00a0 quitar todas las versiones excepto Ubuntu16 y HDP 2.5<\/li>\n\n\n\n
            14. Copiar ambari.list base url e insertarlo en la web.<\/li>\n\n\n\n
            15. Copiar hdp.list base url e insertarlo en la web [hdp-utils]<\/li>\n\n\n\n
            16. Crear un enlace simb\u00c3\u0083\u00c2\u00b3lico a HDP:\u00a0<\/li>\n<\/ol>\n\n\n\n

              ln -s \/var\/www\/html\/HDP\/HDP\/ubuntu16\/dists\/HDP HDP<\/p>\n\n\n\n

                \n
              1. Copiar en los target hosts con el hostname<\/li>\n\n\n\n
              2. Crear una llave p\u00fablica: ssh-keygen -t rsa<\/li>\n\n\n\n
              3. Aseg\u00farate que ssh est\u00e1 instalado: “service status ssh” “apt-get -s install openssh-server”<\/li>\n<\/ol>\n\n\n\n

                Y ya est\u00e1. Sencillo, solamente son dos pasos, uno con una sola tarea y otra con 33 pero en fin, es lo que hay. Para m\u00e1s documentaci\u00f3n, consulta la web de Hortonwork:<\/p>\n\n\n\n

                https:\/\/docs.cloudera.com\/HDPDocuments\/Ambari-2.2.0.0\/bk_Installing_HDP_AMB\/content\/_using_a_local_repository.html<\/strong><\/a> <\/strong>para instalar el HDP desde un repositorio local. <\/p>\n\n\n\n

                Si quieres hacerme un comentario, no dudes en seguirme o hacerme un comentario referenci\u00e1ndome a\u00a0Rafael Piernagorda<\/strong><\/a>\u00a0en Twitter o a\u00a0Rafael Piernagorda<\/strong><\/a>\u00a0en Linkedin.<\/p>\n\n\n\n

                \u00bfTe gustar\u00eda saber c\u00f3mo podr\u00eda encajar Hadoop con tu proyecto?<\/h3>\n\n\n\n
                \n
                \n

                <\/p>

                  <\/ul><\/div>\n
                  \n
                  \n\n\n\n\n\n\n\n<\/div>\n