Esta es una introducción a las capacidades de Azure Synapse Analytics

1. eduardo.castro@linchpinpeople.com

2. Agenda

3. Azure Synapse Analytics es Azure SQL Data Warehouse evolucionado,
combinando big data, almacenamiento de datos e integración de datos en un
único servicio para análisis end-to-end con escalabilidad de nube

4. Azure Synapse Analytics
Servicio de análisis con tiempo de respuesta en segunos
Plataforma
Azul
Almacenamiento de Data Lake
Modelo de datos comunes
Seguridad empresarial
Optimizado para Análisis
METASTORE
Seguridad
Administración
Monitoreo
INTEGRACIÓN DE DATOS
Tiempos de ejecución de Análisis
Provisionado BAJO DEMANDA
Factores de forma
Sql
Idiomas
Python .NET Java Scala R
Experiencia Synapse Analytics Studio
Inteligencia Artificial / Aprendizaje Automático / Internet de las
cosas
Aplicaciones inteligentes / Inteligencia empresarial

5. Análisis SQL
nuevas características disponibles
Características de GA:
- Rendimiento: Caché de Resultados
- Rendimiento: Vistas materializadas
- Rendimiento: ColumnStore Index
- Datos heterogéneos: Compatibilidad con JSON
- Confiable: Enmascaramiento dinámico de datos
- Integración e implementación continuas: Soporte de
SSDT
Características de vista previa pública:
- Gestión de la carga de trabajo: Aislamiento de la
carga de trabajo
- Ingestión de datos: Ingestión simple con COPY
- Uso compartido de datos: Comparta datos de DW
con Azure Data Share
Características de vista previa privada:
- Ingestión de datos: Ingesta de streaming y análisis en DW
- ML incorporado: Predicción/Puntuación nativa
- Lago de datos habilitado: Consulta rápida sobre archivos Parquet
- Lenguaje: Columna de distribución actualizable
- Lenguaje: Cláusula FROM con uniones

6. Nodo de control
Nodo de computación
Almacenamiento
Result
ado
Nodo de computaciónNodo de computación
Alter Database <DBNAME> Set Result_Set_Caching ON
Mejor rendimiento de
precio en su clase
Tablero interactivo con
Resultado Caché
- Respuestas en milisegundos con Resultado Caché
- La memoria caché sobrevive a las operaciones de
pausa/reanudación/escala
- Caché totalmente administrada (1 TB de tamaño)

7. Mejor rendimiento en
su clase
Tablero interactivo con vistas
materializadas
- Actualización y mantenimiento automático de datos
- Reescrituras automáticas de consultas para mejorar
el rendimiento
- Asesor incorporado

8. Intra Cluster Workload Isolation
(Scale In)
Marketing
CREATE WORKLOAD GROUP Sales
WITH
(
[ MIN_PERCENTAGE_RESOURCE = 60 ]
[ CAP_PERCENTAGE_RESOURCE = 100 ]
[ MAX_CONCURRENCY = 6 ] )
40%
Calcular
1000c DWU
60%
Ventas
60%
100%
Ejecución de
consultas consciente
de la carga de trabajo
Aislamiento de la carga de
trabajo
- Múltiples cargas de trabajo comparten recursos
implementados
- Reserva o configuración de recursos compartidos
- Cambios en línea en las políticas de carga de trabajo

9. Centros de
eventos
IoT Hub
Preparación y
Ingestión de Datos
Heterogéneos
Native SQL Streaming
- Ingestión de alto rendimiento (hasta 200 MB/seg)
- Latencias de entrega en segundos
- Escalas de rendimiento de ingesta con escala de
computación
- Capacidades de análisis (consultas basadas en SQL
para combinaciones, agregaciones, filtros)
Ingestión de streaming
Lenguaje T-SQL
Almacén de
datos
Análisis SQL

10. Ingestión de streaming
Centros de
eventos
IoT Hub
Lenguaje T-SQL
Almacén de
datos
Azure Data Lake
--Copiar archivos en paralelo directamente en la tabla de
almacenamiento de datos
COPY INTO [dbo].[weatherTable]
FROM
'abfss://<storageaccount>.blob.core.windows.net/<filepath>'
WITH (
FILE_FORMAT = 'DELIMITEDTEXT’,
SECRET = CredentialObject);
Preparación y
Ingestión de Datos
Heterogéneos
Estatuto COPY
- Permisos simplificados (no se requiere
CONTROL)
- No hay necesidad de tablas externas
- Compatibilidad con CSV estándar (es decir,
terminadores de fila personalizados, delimitadores
de escape, fechas SQL)
- Selección de archivos controlada por el usuario
(soporte de comodín)
Análisis SQL

11. --T-SQL syntax for scoring data in SQL DW
SELECT d.*, p.Score
FROM PREDICT(MODEL = @onnx_model, DATA =
dbo.mytable AS d)
WITH (Score float) AS p;
Dw habilitado para
Machine Learning
PREDICT-ion nativo
- Experiencia basada en T-SQL (puntuación
interactiva/lote)
- Interoperabilidad con otros modelos construidos en
otros lugares
- Ejecutar la puntuación donde los datos viven
Subir
modelos
Lenguaje T-SQL
Almacén de
datos
Datos
+
Modelos
de
puntuaci
ón
Modelo
Crear
modelos
Predicciones
=
Análisis SQL

12. Integración con
Data Lake
ParquetDirect para la
exploración interactiva del lago
de datos
- >mejora del rendimiento 10X
- Optimizaciones de columnas completas
(optimizador, lote)
- Almacenamiento en caché transparente
incorporado (SSD, en memoria, Resultado)
13X
Análisis SQL