Microsoft machine learning

15 al 17 de Noviembre 2018.NET Conf UY v2018
Microsoft Machine
Learning empresarial
Maximiliano Accotto | MVP Data Platform since 2005
TriggerDB Consulting SRL
www.triggerdb.com

¿Que es Machine Learning?
La creación de programas capaces de generalizar
comportamientos a partir de una información
suministrada en forma de ejemplos.

AcciónDecisión
Tableros interactivos
¿Por qué pasó?
Predictions
¿Qué pasará?
Recommendations
¿Qué debería hacer? Recomendaciones Automatizadas
Soporte en la decisión
Data
Value
Reportes Estaticos
¿Qué pasó? Procesos manuales
Del dato a la decisión y acción

Evolución del análisis
¿Qué debería
hacer?
¿Qué pasará?¿Por qué pasó?¿Qué pasó?
Dashboards
Interactivos
Recomendaciones
Automatización
Modelos
Predictivos
Reportes
Insight
Diagnóstico PrescriptivoPredictivoDescriptivo
BI Tradicional Análisis Avanzado

Spark
SQL Server
Virtual machines
GPUs
Container services
Notebooks
IDEs
Azure Machine Learning Workbench
SQL Server
Machine Learning Server
O N - P R E M I S E S
Microsoft Machine Learning
E D G E C O M P U T I N G
Azure IoT Edge
Experimentation and
Model Management
T R A I N & D E P L O Y O P T I O N S
A Z U R E

SQL Server Machine Learning

Regular Database + App Intelligence Database + App
Llevar la inteligencia a donde están los datos
Application +
Intelligence
Database
Application
Intelligence
+ Database
VS

¿Porque ML en SQL Server?
Eliminar el movimiento de datos
Aprovechar la seguridad de la base de datos
Ejecutar los calculos de ML en la base de datos
Operación ML scripts y modelos
Usar store Procedures de T-SQL
Manejar los modelos en el SQL Server
Performance y escalabilidad Enterprise
Escalar con R y Python analytics usando multi-threading
y parallel processing.
SQL Server security, compliance, resource governance,
query performance, always on secondaries
Data Scientist
Interacts directly
with data
SQL Developer/
DBA
Manage data and
analytics together
SQL Transformations
010010
100100
010101
Relational data
Analytics library
R
integration
010010
100100
010101
010010
100100
010101
Python
integration

SQL Machine Learning Services
• SQL Server 2016
• R support (3.2.2 version)
• Microsoft R Server
• SQL Server 2017
• Scoring native en TSQL usando PREDICT function
• EXTERNAL LIBRARY DDL para el manejo de paquetes R
• Ejecución en batch para la entrada de datos
• Soporte para R (3.3.3 version)
• Soporte para Python (Anaconda 3.5.2)

Any R/Python
IDE
Data Scientist
Workstation
Script
Results
Execution
1
3
Data Scientists - Exploración de Datos y Desarrollo de
Modelos
SQL Server
2
R/Python Runtime
Machine Learning
Services
train <- RxSqlServerData(query,
connectionString, computeContext)
rxLogit(formula, train)

Application exec sp_execute_external_script
@language = ‘Python’
, @script =
-- Python code --
The stored procedure contains R or
Python code and executes in-
database
Application Developer - Operacionalización de
modelos
Stored Proc call
Results
1
3
Execution
SQL Server
2
R/Python Runtime
Machine Learning
Services

Trabajo del DBA: Habilitar ML en SQL Server

Enable External scripts
– Exec sp_configure ‘external
scripts enabled’, 1
– RCONFIGURE
SQL Server
2016
O superior

sp_execute_external_script

Tipos de salida
1. Dataset
• Standard resultset of rows and columns
• Data types will vary
2. Plot
• Static images
• Binary
3. Model
• Trained models such as linear regression, naïve bayes, etc.
• Binary

Realtime Predictions usando Scoring nativo
• PREDICT function
• No depende de R o Python runtime
• Habilitado on SQL Server tanto en Windows como Linux
• Uso
• Single or small number of rows scoring
• Highly concurrent scoring scenarios
• Predict during INSERT, UPDATE, MERGE statements
• Requirements
• Models built using RevoScaleR or revoscalepy
• rxLinMod, rxLogit, rxBTrees, rxDTree, rxDForest
• Serialized using rxSerializeModel (R) or rx_serialize_model (Python)

PREDICT syntax

1,000,000 predictions per second
https://blogs.technet.microsoft.com/dataplatforminsider/2016/10/11/1000000-predictions-per-
second/

SQL Server Machine Server

SQL Machine Learning Server
• Soporte Multi-plataforma
• Windows, Linux, Hadoop, SQL Server
• Microsoft R Server
• RevoScaleR, MicrosoftML, olapR, sqlrutils packages
• Uso de Web services para operar.
• Microsoft Machine Learning Server
• Soporte de R & Python
• revoscalepy, microsoftml python libraries
• rxExecBy

SQL Machine Learning Server
• Setup one-box
configuration
> az ml admin boostrap
• Jupyter notebook
deploy, and consume

SQL Machine Learning Server – Multi Server
Configuration

SQL Server 2019 y ML (big data Cluster)

Azure Machine Learning

Azure Machine Learning
• Compila y entrena modelos en Microsoft Azure.
• Utiliza tecnologías de código abierto como TensorFlow, PyTorch o
Jupyter.
• Puede hacer experimentos en su entorno local y luego escálelos
vertical u horizontalmente a la nube con grandes clústeres
habilitados para GPU.
• Puede administrar sus modelos con herramientas integradas

Azure Machine Learning workbench

Integración con VS code

Machine Learning Studio

Machine Learning en Apache
Spark

Implementaciones de ML para Spark
• Machine Learning Server
• Azure Hdinsight con ML Server
• Azure Databricks

ML para Spark
• PySpark y R
• Integración con herramientas como jupyter , Visual Studio, Vscode o
Rstudio

Recursos

Recursos
• Galerías de ML
• Ejemplos de MS en Github
• Ejemplos ML para Spark GitHub
• Azure Data Science Virtual Machine
• Lab Azure Machine Learning
• Lab Azure Hdinsight

Microsoft Machine Learning
www.triggerdb.com
maxiaccotto
maxi@triggerdb.com
Maximiliano Accotto | MVP Data Platform

Microsoft machine learning

Microsoft machine learning

Recomendados

Mais conteúdo relacionado

Similar a Microsoft machine learning

Similar a Microsoft machine learning(20)

Mais de Maximiliano Accotto

Mais de Maximiliano Accotto(19)

Último

Último(20)

Microsoft machine learning