{"id":13915,"date":"2025-01-25T16:27:40","date_gmt":"2025-01-25T15:27:40","guid":{"rendered":"https:\/\/www.palentino.es\/blog\/?p=13915"},"modified":"2025-01-25T16:34:08","modified_gmt":"2025-01-25T15:34:08","slug":"etl-elt-processes-and-tools-que-son-y-ejemplo-practico","status":"publish","type":"post","link":"https:\/\/www.palentino.es\/blog\/etl-elt-processes-and-tools-que-son-y-ejemplo-practico\/","title":{"rendered":"ETL\/ELT Processes and Tools: Qu\u00e9 son y ejemplo pr\u00e1ctico"},"content":{"rendered":"

ETL y ELT: Definici\u00f3n B\u00e1sica<\/strong><\/p>\n

ETL<\/strong> (Extract, Transform, Load) y ELT<\/strong> (Extract, Load, Transform) son procesos que se utilizan para mover datos de una fuente a un destino, t\u00edpicamente en un entorno de an\u00e1lisis o almacenamiento de datos (data warehouse). Ambos tienen la misma finalidad, pero difieren en el orden de los pasos y en las herramientas empleadas.<\/p>\n

Diferencias Principales entre ETL y ELT:<\/strong><\/p>\n\n\n\n\n\n\n\n\n
Aspecto<\/strong><\/th>\nETL<\/strong><\/th>\nELT<\/strong><\/th>\n<\/tr>\n<\/thead>\n
Flujo del proceso<\/strong><\/td>\nExtract \u2192 Transform \u2192 Load<\/td>\nExtract \u2192 Load \u2192 Transform<\/td>\n<\/tr>\n
Transformaci\u00f3n<\/strong><\/td>\nOcurre antes de cargar los datos.<\/td>\nOcurre despu\u00e9s de cargar los datos.<\/td>\n<\/tr>\n
Uso com\u00fan<\/strong><\/td>\nSistemas tradicionales de an\u00e1lisis.<\/td>\nPlataformas modernas (e.g., Snowflake).<\/td>\n<\/tr>\n
Rendimiento<\/strong><\/td>\nLimitado a la potencia del servidor ETL.<\/td>\nEscalabilidad del almacenamiento moderno.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

\"\"<\/a>
\n<\/p>\n

Herramientas Comunes para ETL\/ELT:<\/strong><\/p>\n

    \n
  1. Apache Airflow<\/strong> (Open Source): Ideal para la orquestaci\u00f3n de workflows.<\/li>\n
  2. Matillion<\/strong> (Integrado con Snowflake): Herramienta visual f\u00e1cil de usar para ELT.<\/li>\n
  3. Informatica<\/strong> (Comercial): Amplias capacidades de integraci\u00f3n para grandes empresas.<\/li>\n<\/ol>\n

    Ejemplo Pr\u00e1ctico: Pipeline ELT con Snowflake y Python<\/strong><\/h3>\n

    Escenario:<\/strong>
    \nDeseamos cargar datos desde un archivo CSV en Amazon S3 hacia Snowflake, transformarlos en la base de datos y prepararlos para an\u00e1lisis.<\/p>\n

    Paso 1: Extract (Extraer los datos)<\/strong> Los datos se encuentran en un archivo CSV almacenado en un bucket de Amazon S3.<\/p>\n

    # Subimos un archivo local a S3<\/em><\/span>
    \naws s3 cp data.csv s3:\/\/mi-bucket\/datos\/<\/em><\/span><\/p>\n

     <\/p>\n

    Paso 2: Load (Cargar los datos en Snowflake)<\/strong>
    \nCargamos los datos a una tabla de Snowflake utilizando Python.<\/p>\n

    import snowflake.connector<\/em><\/span><\/p>\n

    # Conexi\u00f3n a Snowflake<\/em><\/span>
    \nconn = snowflake.connector.connect(<\/em><\/span>
    \nuser=’USUARIO’,<\/em><\/span>
    \npassword=’CONTRASE\u00d1A’,<\/em><\/span>
    \naccount=’CUENTA’<\/em><\/span>
    \n)<\/em><\/span><\/p>\n

    # Ejecuci\u00f3n de una consulta para cargar los datos<\/em><\/span>
    \ncursor = conn.cursor()<\/em><\/span>
    \ncursor.execute(“””<\/em><\/span>
    \nCOPY INTO mi_tabla<\/em><\/span>
    \nFROM ‘s3:\/\/mi-bucket\/datos\/’<\/em><\/span>
    \nCREDENTIALS=(AWS_KEY_ID=’KEY’ AWS_SECRET_KEY=’SECRET’)<\/em><\/span>
    \nFILE_FORMAT=(TYPE=CSV FIELD_OPTIONALLY_ENCLOSED_BY='”‘ SKIP_HEADER=1)<\/em><\/span>
    \n“””)<\/em><\/span><\/p>\n

    Paso 3: Transform (Transformar los datos en Snowflake)<\/strong>
    \nRealizamos transformaciones en los datos directamente dentro de Snowflake.<\/p>\n

    — Limpiamos los datos y creamos una nueva tabla transformada<\/em><\/span>
    \nCREATE TABLE datos_limpios AS<\/em><\/span>
    \nSELECT<\/em><\/span>
    \nid,<\/em><\/span>
    \nUPPER(nombre) AS nombre_mayuscula,<\/em><\/span>
    \nfecha,<\/em><\/span>
    \ncantidad * 1.21 AS cantidad_con_impuestos<\/em><\/span>
    \nFROM mi_tabla;<\/em><\/span><\/p>\n

     <\/p>\n

    Resultado Final:<\/strong>
    \nLos datos ahora est\u00e1n disponibles en una tabla llamada datos_limpio<\/strong>s, listos para ser analizados por equipos de negocio o visualizados en herramientas como Tableau o Power BI.<\/p>\n

    \n

    Beneficios de ELT con Snowflake:<\/strong><\/p>\n

      \n
    1. Escalabilidad gracias al procesamiento en la nube.<\/li>\n
    2. Menos movimiento de datos, ya que la transformaci\u00f3n ocurre en el destino.<\/li>\n
    3. Integraci\u00f3n sencilla con herramientas modernas como Python, Airflow y Matillion.<\/li>\n<\/ol>\n
      \n

      Conclusi\u00f3n:<\/strong>
      \nDominar los procesos ETL\/ELT y las herramientas asociadas te permitir\u00e1 trabajar de manera eficiente con grandes vol\u00famenes de datos en arquitecturas modernas como Snowflake. \u00a1Practica creando pipelines simples y ve aumentando la complejidad con el tiempo!<\/p>\n