¿cómo nos ayudan las ETLs?
Las herramientas ETL y ELT, normalmente en conjunción con otras herramientas y tecnologías, ayudan con una gran variedad de tareas asociadas al procesamiento y gestión de los datos de tu empresa.
ETL y usos tradicionales
Fundamentalmente las herramientas ELT ayudan a los negocios a combinar datos estructurados y no estructurados obtenidos de diversas fuentes y combinarlos en un almacén de datos o data warehouse. A menudo la información obtenida de la fuente se normaliza en formatos optimizados para la generación de informes, permitiendo de esa manera obtener nuevas perspectivas sobre nuestra información mediante el análisis o herramientas de visualización.
Por ejemplo, una ETL puede combinar nombres, lugares y precios de datos usados en la operativa del negocio con información transaccional, proveniente por ejemplo de la información de ventas en mostrador, movimientos bancarios, u otros sistemas.
Las ETLs también nos pueden ayudar a migrar formatos de datos antiguos o en base de datos que estén obsoletas y ayudar así a mantener el histórico accesible. Incluso se han demostrado de gran ayuda en operaciones donde las empresas deciden actualizar su infraestructura y dar el salto al cloud.
Otro caso de uso tradicional es el de consolidación de datos entre dos entidades completamente diferentes. El ejemplo más común es el análisis e incorporación de histórico de una empresa tras una fusión o absorción por parte de un grupo. De la misma forma, si nuestros partners o proveedores nos ofrecen conexión a sus sistemas como parte de la operativa de negocio, poder agregar esa información para que forme parte de nuestra analítica también recae sobre las ETLs
ETL y Big Data
La operativa tradicional y transaccional de las empresas son sólo una pequeña parte de los datos que genera una empresa moderna. La gran cantidad de datos (Big Data) que fluyen hacia las empresas desde las redes sociales, videos, dispositivos y sensores ahora conectados a internet (Internet of Things o IoT), minería de registros y mucho más es simplemente asombrosa.
Las empresas hoy en día necesitan de este gran espectro de datos para obtener ventajas competitivas, para entender el contexto en el que se encuentran y para poder tomar decisiones con precisión en cada momento. Los proveedores de ETLs tenemos que estar constantemente añadiendo nuevos procesos de transformación de datos y conectores para evolucionar junto con las nuevas tecnologías, tipos de datos y fuentes, que crecen sin parar.
ETLs desplegadas en cloud
Las empresas se alejan cada vez más de los almacenes de datos tradicionales generados mediante scripts y programas creados y mantenidos por equipos internos sin especialidad técnica específica en la normalización y análisis de datos.
Para ello, el primer paso suele ser elegir bien las herramientas sobre las cuales podemos definir y orquestar procesos de ETL para dar forma a nuestros datos.
Herramientas como Apache NiFi, Apache Hadoop, Apache Airflow o similares, son soluciones open source que en las manos de ingenieros y analistas de datos, ofrecen un contexto de trabajo ordenado para implementar nuestras ETLs. Dependiendo de las necesidades y habilidades del equipo, se pueden generar metodologías y procesos escalables, que desplegados en entornos cloud pueden cubrir el gran abanico de necesidades presentes en el mundo empresarial moderno.