Cada vez más organizaciones tendrán que considerar (y hacer algo al respecto) de qué forma los datos generados al interior y alrededor del negocio (clientes, proveedores, aliados, entorno), por las diferentes y múltiples fuentes de datos pueden agregar valor a su negocio.
El problema de las organizaciones inicia con la generación de grandes cantidades de datos, generadas desde diferentes fuentes externas e internas generadas por personas y máquinas, además de cómo se almacena y tipifica, ya que se debe recurrir a diferentes maneras de almacenamiento y diferentes ubicaciones. Todas estas implicaciones (difíciles de evitar en entornos complejos y cambiantes) impiden el aprovechamiento de estos datos para realizar análisis que generen valor para el negocio, brindándole información relevante para soportar y apoyar la toma de decisiones incluso en tiempo real.
La realidad de las Organizaciones en temas de Analítica:
Grandes volúmenes de información.
Diferentes forma de almacenamiento (formatos) de los datos.
Diferentes repositorios distribuidos y aislados para consolidar información de valor.
Herramientas limitadas para consolidar y procesar los datos de la manera y a la rapidez deseada.
Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS
1. Soluciones
para
Mejorar
la
Toma
de
Decisiones
La
Analítica
en
Tiempo
Real
y
Batch
usando
WSO2
DAS
2. BIG
DATA
–
Conceptos
Clave
Análisis,
procesamiento
y
almacenamiento
de
grandes
colecciones
de
datos,
de
fuentes
diversas,
utilizando
metodologías
y
herramientas
para
apoyar
la
Toma
de
Decisiones.
Velocidad
-‐>
Cantidad
de
tiempo
que
toma
a
la
Data
en
ser
procesada.
Variedad
-‐>
Múltiples
formatos
y
tipos
de
datos.
Veracidad
-‐>
Relación
entre
Señal
(Data
con
valor)
vs
Ruido
(Data
sin
valor).
Valor
-‐>
Utilidad
de
los
datos
para
una
empresa.
3. BIG
DATA
–
Nuestro
Modelo
El
Ecosistema
Big
Data
4. BIG
DATA
-‐
Aplicación
• Optimización
Operacional.
• Inteligencia
Accionable
(Reglas
de
Negocio
Adaptables).
• IdentiUicación
nuevos
mercados.
• Detección
de
fallas
y
fraude.
• Registros
más
detallados.
• Predicciones
más
precisas.
• Mejorar
la
toma
de
decisiones.
• Realizar
descubrimientos
CientíUicos.
5. BIG
DATA
–
Nuestro
Modelo
Modelo
de
Implementación
7. WSO2
DAS
Agregar
Datos
Analizar
Datos
Presentar
los
Resultados
8. Capacidades
de
WSO2
DAS
Consultas
Visualizaciones
APIs
Datos
Análisis
en
tiempo
real
Análisis
Interactivos
Análisis
Predictivos
Análisis
en
“Batch”
Alertas
9. Análisis
en
Tiempo
Real
El
Análisis
en
tiempo
real
signiUica
que
WSO2
DAS
puede
procesar
y
tomar
decisiones
inmediatamente
cuando
acceden
a
DAS.
La
información
se
ingiere
por
medio
de
un
data
agent.
El
data
agent
es
una
pequeña
aplicación
que
envía
un
evento
al
Ulujo
de
CEP.
El
Ulujo
de
CEP
sigue
una
secuencia
donde
se
valida
que
ruta
debe
seguir.
Si
es
necesario
se
disparan
alertas.
Push
Event
Stream
Real-‐time
Process
Application
10. Data
Agent
• El
data
agent
consiste
de
una
aplicación
Java
desplegada
en
el
WSO2
AS.
• Es
un
intermediario
entre
la
fuente
de
datos
y
DAS
• Produce
una
salida
en
forma
de
JSON,
que
es
entendible
por
WSO2
DAS,
este
JSON
contendrá
un
registro
o
data
que
se
procesará
en
DAS
11. Flujo
CEP
en
WSO2
DAS
• Los
componentes
en
un
Ulujo
CEP:
• Receivers:
Capturan
un
mensaje
con
determinada
estructura
• Event
Stream:
Actuan
como
colas
de
mensajes,
son
el
riel
donde
se
conducira
el
evento
• Execution
Plan:
usan
Siddhi
para
determinar
que
caminos
debe
tomar
un
evento,
pueden
modiUicar
el
evento
• Publisher:
Exponen
o
comunican
un
evento.
12. El
Execution
Plan
y
Siddhi
Para
evaluar
el
camino
lógico
que
debe
tomar
un
evento,
se
utiliza
el
execution
plan,
este
plan
de
ejecución,
es
un
bloque
de
código
Siddhi.
Siddhi
es
un
lenguaje
similar
a
SQL,
la
principal
diferencia
es
que
Siddhi
no
busca
registros
en
una
base
de
datos,
sino
que
evalúa
los
eventos
que
se
reciben
en
un
Ulujo
CEP.
14. El
Análisis
Batch
Si
un
Ulujo
de
eventos
se
conUigura
para
que
sea
persistido,
se
almacenarán
los
eventos
que
pasen
por
ese
Ulujo
en
una
base
de
datos
enlazada,
en
vez
de
ser
analizados
de
inmediato,
el
evento
se
procesará
por
tareas
programadas
o
a
demanda
del
usuario
usando
scripts
e n
S p a r k S Q L ,
t r a s
e s e
procesamiento
se
puede
o
bien
visualizar
la
información
o
generar
nuevas
alertas
17. Como
DAS
Comunica
los
Resultados
Los
event
publishers
pueden
publicar
los
eventos
procesados
de
formas
tales
como
correos
electrónicos,
logs,
notiUicaciones
push,
JMS,
servicios
web,
etc.
19. BIG
DATA
–
Nuestro
Modelo
Aplicación
–
Caso
de
Uso
Sector
Industrial
A
partir
de
esta
información
(provenientes
de
los
Equipos
en
planta)
se
deben
determinar,
procesar,
analizar
datos
para
determinar
y
ciertas
condiciones
que
permitieran
generar
registros,
alarmas,
mas
información
de
interés
operativo
para
la
Planta
(y
el
negocio).
• Información
proveniente
de
Planta
-‐
Sondas
distribuidas
(Recogida
por
el
Data
Server
del
SCADA)
• Información
analizada
desde
Herramientas
OUimáticas
(No
escalables
para
un
Entorno
de
Inteligencia
Operacional
Exigente)
• Necesidad
de
Lectura
y
visualización
de
Información
>
Limitante
actual.
•
Necesidad
de
procesamiento
y
análisis
de
información
para
toma
de
decisión
Operacional
relacionadas
>
Análisis
del
dato
deseado
Situación
Actual
20. BIG
DATA
–
Nuestro
Modelo
Qué
se
Buscaba?
-‐
Caso
de
Uso
Sector
Industrial
• Escalabilidad
Coste
Total
(Implantación
de
futuro).
• Manejo
de
un
Volumen
de
Datos
elevado.
• Debe
incorporar
Agilidad
de
consulta
de
Datos.
• Realizar
Análisis
Complejos.
• Debe
poder
extraer
y
analizar
datos
desde
diferentes
tipos
de
orígenes
(Cruzar
información
de
diferentes
orígenes).
• Herramienta
de
Visualización
data
“en
Bruto”
y
Procesada
de
uso
por
Analista
de
negocio
–
PerUil
no
técnico.
Toma
de
decisiones
en
tiempo
real
y
temprana
–
Inteligencia
Operacional
(hacia
un
predictivo)
Mejor
disponibilidad
en
Planta
>
Mejorar
producción
>
Mejorar
ventas
y
Calidad
de
los
productos
21. BIG
DATA
–
Nuestro
Modelo
La
Solución
–
Caso
de
Uso
Sector
Industrial
22. Funcionalidad
y
Resultados
de
la
Solución
• Calculo
en
Dase
de
Datos
(NoSQL)
• Alertas
y
Alarmas
en
tiempo
real
(E-‐mail
&
Push
Message)
• Visualización
de
Datos
Brutos
y
Analizados.
• Analítica
en
Tiempo
Real.
• Analítica
Interactiva
>
Obtención
de
resultados
rápidos
a
través
de
consultas
AdHoc
de
un
conjunto
de
Datos.
Permite
búsquedas
complejas
por
textos
utilizando
el
sistema
de
ideación
disminuido
de
Apache
Lucene.
23. • Analítica
en
Batch
>
Se
reUiere
al
análisis
de
datos
persistidos.
La
solución
esta
orientada
a
la
sumarización
y
análisis
de
evolución
de
datos.
Se
uso
implementado
Spark
SQL
con
el
WSO2
DAS.
• Como
Base
de
Datos
se
implemento
Apache
Cassandra
(Base
de
Datos
NoSQL)
distribuida
y
preparada
para
Big
Data.
(Ventaja,
es
software
libre
(Apache
Software
Foundation).
Permite
accesar
a
grandes
volúmenes
de
datos
en
forma
distribuida,
es
un
sistema
descentralizado
donde
cada
nodo
tiene
la
misma
información.
• Visualización
de
Datos
con
WSO2
DAS
y
Herramientas
desacopladas
de
Visualización.
Funcionalidad
y
Resultados
de
la
Solución
24. What´s
next
• Analítica
Predictiva
>
Se
reUiere
a
la
predicción
de
valores
a
partir
de
datos
históricos
obtenidos
del
sistema
SCADA.
• Utilizar
la
tecnología
de
Machine
Learning
(con
WSO2
ML)
para
“enseñar”
al
algoritmo
a
través
de
diferentes
ejecución
de
la
distribución
de
siguen
los
juegos
de
datos
para
predecir
comportamientos
anómalos
en
la
variables
analizadas