Erika Fernanda Zapata Rendón Unidad Central del Valle del Cauca

2. ¿Qué es?
Se denomina Big Data a la manipulación, análisis y
estructuración a enormes cantidades de datos que
sobrepasan de los limites.
Generando un cambios radical al manejo
convencional de la información.

3. ¿Dónde surge la
Big Data?
los seres humanos constantemente creamos y/o almacenamos grandes cantidades
de información, generando alrededor de
2.5 quintillones de bytes por día, esta información nace de los:
•Smartphones.
•Sensores de automóviles.
•Satélites.
•Cámaras.
•Movimiento de la bolsa.
•Registros aéreos.
•De cada clic que realizamos la Red.
•Entre mucho otros.

5. ¿Qué tan grande es?
“El 90% de los datos disponibles hoy en día en el
mundo fueron creados en los últimos 2 años.”
- IBM, 2015

6. ¿Como podemos
utilizarla?

8. Es un proceso para detectar la información
procesable. Utilizando el análisis matemático para
deducir los patrones y tendencias que existen en los
datos.
Estos patrones y tendencias se pueden recopilar y
definir como un modelo de minería de datos.

10. ¿Qué está buscando?
¿Qué tipos de relaciones intenta buscar?
¿Desea realizar predicciones a partir del modelo de minería de datos o
solamente buscar asociaciones y patrones interesantes?
¿Qué resultado o atributo desea predecir?
¿Qué tipo de datos tiene y qué tipo de información hay en cada
columna?
Definir el problema

11. En caso de que haya varias tablas, ¿cómo se relacionan?
¿Necesita limpiar, agregar o procesar los datos antes de
poder usarlos?
¿Cómo se distribuyen los datos?
¿Los datos son estacionales?

12. •Los datos pueden estar dispersos y almacenados en formatos
distintos; también pueden contener incoherencias como entradas que
faltan o incorrectas.
•La limpieza de los datos no solamente implica quitar datos no válidos
o interpolar valores que faltan, sino también buscar las correlaciones
ocultas en los datos, identificar los orígenes de datos que son más
precisos y determinar qué columnas son las más adecuadas para el
análisis.
Preparar los datos

13. Debe conocer los datos para tomar las decisiones adecuadas al
crear los modelos de minería de datos. Entre las técnicas de
exploración se incluyen calcular los valores mínimos y máximos,
calcular la media y las desviaciones estándar, y examinar la
distribución de los datos.
Explorar los datos

14. Las desviaciones estándar y otros valores de distribución pueden
proporcionar información útil sobre la estabilidad y exactitud de
los resultados.
Una desviación estándar grande puede indicar que agregar más
datos podría ayudarle a mejorar el modelo.
Los datos que se desvían mucho de una distribución estándar se
podrían sesgar o podrían representar una imagen precisa de un
problema de la vida real, pero dificultar el ajustar un modelo a los
datos.

15. Se debe definir qué columnas de datos se van a usar; para ello,
Se crea una estructura de minería de datos.
La estructura se vincula al origen de los datos, pero en realidad
no contiene ningún dato hasta que se procesa.
Generar modelos

16. •Un modelo de minería de datos simplemente es un contenedor que
especifica las columnas que se usan para la entrada, el atributo que
está prediciendo y parámetros que indican al algoritmo cómo procesar
los datos.
•El procesamiento de un modelo a menudo se
denomina entrenamiento. El entrenamiento hace referencia al proceso
de aplicar un algoritmo matemático concreto a los datos de la
estructura para extraer patrones.

17. •Los patrones que encuentre en el proceso de
entrenamiento dependerán de la selección de los
datos de entrenamiento, el algoritmo que elija y cómo
se haya configurado el algoritmo.

18. Antes de implementar un modelo en un entorno de producción,
es aconsejable probar si funciona correctamente. Además, al
generar un modelo, normalmente se crean varios con
configuraciones diferentes y se prueban todos para ver cuál
ofrece los resultados mejores para su problema y sus datos.
Explorar y validar los
modelos

19. •Use los modelos para crear predicciones que luego podrá usar para
tomar decisiones.
•Crear consultas de contenido para recuperar estadísticas, reglas o
fórmulas del modelo.
•Crear un informe que permita a los usuarios realizar consultas
directamente en un modelo de minería de datos existente.
Implementar y actualizar
los modelos

21. Aplicaciones de
uso

22. Incluye contenido web e información que es
obtenida de las redes sociales como
Facebook, Twitter, LinkedIn, etc, blogs.
Web y Social Media

23. Machine-to-Machine
(M2M)
Se refiere a las tecnologías que permiten conectarse a otros
dispositivos. M2M utiliza dispositivos como sensores o
medidores que capturan algún evento en particular (velocidad,
temperatura, presión, variables meteorológicas, variables
químicas como la salinidad, etc.)

24. Big Transaction Data
Incluye registros de facturación, en
telecomunicaciones registros detallados de las
llamadas (CDR), etc. Estos datos
transaccionales están disponibles en formatos
tanto semi-estructurados como no
estructurados.

25. Biometrics
Información biométrica en la que se incluye
huellas digitales, escaneo de la retina,
reconocimiento facial, genética, etc. En el área
de seguridad e inteligencia, los datos
biométricos han sido información importante
para las agencias de investigación.

26. Human Generated
Las personas generamos diversas cantidades de
datos como la información que guarda un Call
Center al establecer una llamada telefónica,
notas de voz, correos electrónicos, documentos
electrónicos, estudios médicos, etc.

27. Las “Vs” de la Big
Data

28. Volumen
La Big Data requiere procesar altos volúmenes de datos
Hadoop no estructurados y de baja densidad, datos de
valor desconocido, como fuentes de datos de:
Redes Sociales,
Trafico en la Red,
Apps móviles,
Equipos con sensores que capturan datos a la velocidad
de la luz y mucho más.

29. Velocidad
Una de las cualidades de la Big Data son la
información en tiempo real, que proviene
principalmente de Apps móviles junto con Apps
del internet de las cosas

30. Variedad
Nuevos tipos de datos no estructurados o semi-
estructurados, como textos, audio y videos, requieren
un proceso adicional para extraer su significado.
Una vez comprendidos estos datos, tiene muchos de
los mismos requisitos que los datos estructurados,
como resumen, linaje, auditabilidad y privacidad.

31. Valor
Los datos tiene un valor intrínseco,
pero debe ser descubierto.