Azure Data Explorer y el lenguaje de consulta Kusto

Bienvenidos a un nuevo post en el mejor blog de SQL Server. En la entrada de hoy hablaremos sobre Azure Data Explorer, la plataforma de análisis de datos administrada de Azure. Pero primero, os explicaré qué es y cómo funciona.

¡Empezamos!

¿Qué es Azure Data Explorer?

Azure Data Explorer es un plataforma de análisis de datos administrada, con un rendimiento excelente y totalmente escalable que nos permite el estudio de grandes cantidades de datos casi en tiempo real. El origen de dichos datos pueden ser tan diversos como son aplicaciones, sitios web o incluso dispositivos IoT.

A través del análisis de datos y el Machine Learning, Azure Data Explorer nos hace más fácil la extracción de conclusiones, la detección de patrones y tendencias y la creación de modelos de previsión.

¿Cuándo utilizar Azure Data Explorer?

Azure Data Explorer es un servicio totalmente optimizado que nos será de gran utilidad especialmente en los siguientes casos:

Cuando es requisito de la solución que sea interactiva. Es decir, facilitar a personas no expertas el análisis de situaciones complejas representadas en forma de datos.
En casos en los que exista grandes cantidades de datos y tratarlos en tiempo real.
Si no dispone de datos procesados.
Cuando existen simultaneidad de consultas.
En casos en los que se quiera personalizar la plataforma de datos.

Árbol de decisión para decidir si Azure Data Explorer es la solución más adecuada

¿Qué hace especial a Azure Data Explorer?

Enfocado a datos

Se puede consultar grandes volúmenes de datos y obtener resultados casi al instante. Azure Data Explorer proporciona, además, alta velocidad, baja latencia e ingesta de datos sin procesar, es decir, datos en diferentes formatos y estructuras, que proceden de varios y diversos orígenes.

Herramientas para el análisis avanzado

Azure Data Explorer permite el análisis de series temporales con un gran conjunto de herramientas como la agregación o la resta de series temporales, filtrados, regresiones, análisis geoespacial, detección de anomalías, examen y previsión. Estas herramientas están optimizadas para procesar miles de datos en cuestión de segundos.

Asistente intuitivo de ingesta de datos

El asistente de ingesta de datos es sencillo, rápido y fácil de utilizar. Dispone de una experiencia guiada que ayuda al usuario a ingerir datos y crear y asignar de manera automática estructuras, como tablas o esquemas. Además, permite la ingesta de datos de manera continua o única desde varios orígenes con formatos de datos diversos. Incluye también exportación continua a Azure Data Lake Store.

Visualización de datos

La visualización de datos es un aspecto clave para que el usuario pueda sacar conclusiones importantes. Azure Data Explorer permite la creación y visualización de paneles con compatibilidad con otras plataformas como Microsoft Power BI, conectores nativos para Grafana y compatibilidad con ODBC para Tableau.

Lenguaje de consulta

Se utiliza el lenguaje de consulta Kusto (KQL), de código abierto que inventó el equipo de desarrollo, para recopilar información sobre Azure Data Explorer. De fácil comprensión y aprendizaje, es un lenguaje altamente productivo que puede utilizar operadores simples y análisis avanzados. Incluso se puede insertar código Python en consultas KQL con el objetivo de ampliar funcionalidades.

Casos Prácticos

Ahora que ya sabemos qué es y cómo funciona tanto Azure Data Explorer como el Lenguaje Kusto, os voy a enseñar algunos ejemplos prácticos de consultas de la plataforma de datos administrada.

Caso Práctico 1: Consultas de Kusto

Se utiliza la base de datos StormEvents, que es la base de datos oficial de la NOAA’s National Weather Service (NWS). Dicha base de datos recoge eventos climatológicos desde enero de 1950 a julio de 2022.

En el script anterior se realiza un conteo de los eventos por ubicación y se genera un gráfico con el top 10 de las ubicaciones donde han ocurrido más eventos.

Resultado:

Caso Práctico 2: Inserción de código Python en Kusto Query Language

Ejemplo de inserción de código Python en KQL

Es posible recoger métricas internas de Azure para generar gráficos donde se muestre la evolución del porcentaje de uso de CPU, por ejemplo.

Caso Práctico 3: Recogida de métricas sobre el uso de CPU con KQL

Consulta sobre el uso de CPU de todos los ResourceGroups en KQ

Caso Práctico 4: KQL y SQL

Para facilitar la transición y el aprendizaje, es posible utilizar Kusto para traducir consultas SQL a KQL.

Y lo que de verdad está ejecutando:

Y para finalizar el post, me gustaría compartiros algunas equivalencias entre SQL y su igual en KQL.

Instrucción	SQL	KQL
Selección de todos los datos de una tabla	SELECT * FROM dependencies	Dependencias
Selección de algunas columnas de una tabla	SELECT name, resultCode FROM dependencies	Dependencies \| project name, resultCode
Comparaciones	SELECT * FROM dependencies WHERE type = “Azure Blog”	Dependencies \| where type == “Azure Blog”
Agregación	SELECT AVG(duration) FROM dependencies GROUP BY name	Dependencies \| summarize avg(duration) by name
Join	SELECT * FROM dependencies LEFT JOIN exception ON dependencies.operation_Id = exceptions.operation_Id	Dependencies \| join kind = lefouter (exceptions) on $left.operation_Id == $right.operation_Id
Top n por agregación	SELECT TOP 100 name, COUNT(*) as Count FROM dependencies GROUP BY name ORDER BY Count DESC	Dependencies \| summarize Count = count() by name \| top 100 by Count desc