O documento discute as técnicas de data stream mining para trabalhar com grandes volumes de dados em tempo real, destacando a importância da eficiência em memória e tempo. Apresenta algoritmos e ferramentas, como o MOA, que facilitam a análise e a captura de dados em fluxos contínuos, além de como lidar com o conceito de drift em dados. Inclui exemplos práticos, abordagens para avaliação de modelos e a aplicação de métodos de validação.

1. Globalcode – Open4education
Data Science
Data Stream Mining: trabalhando com dados massivos
André Luís Nunes Porto Alegre, 2018

2. Data Stream Mining
trabalhando com dados massivos
2018

3. agenda

4. andré luís nunes
Gestor Técnico | Cientista de Dados
CWI Software
São Leopoldo/RS
Mestrado em Ciência da Computação, UNISINOS (2017)
Bacharel em Sistemas de Informação, FACCAT (2008) P&I
Crescer
Núcleo de
Tecnologia

5. data stream
Fluxo contínuo
de dados.
Real Time ?

6. data stream

7. data stream
• Sequência de dados potencialmente infinita.
• Velocidade na chegada:
➢ Importantes apenas na chegada;
➢ Após processamento são descartados.
• BASES NÃO-ESTACIONÁRIOS

8. data stream
Exemplo de dados: Base Airlines
•
•
•
•

9. data stream
Primeiro algoritmo:
VFDT
Very Fast Decision Tree
(2001, Domingos and Hulten)

10. data stream
A partir da implementação da árvore de
Hoeffding.
Probability Inequalities for Sums
of Bounded Random Variables
(1962,Wassily Hoeffding)

11. data mining
Etapas do processo:
KNOWLEDGE DISCOVER in DATABASE (KDD)

12. data mining
KNOWLEDGE DISCOVER in DATABASE (KDD)
Etapas do processo:

13. data mining
Ciclo:
dados
dados
selecionados
dados
processados
dados
transformados
padrões de
dados
conhecimento

14. data mining
Ciclo:
dados
dados
selecionados
dados
processados
dados
transformados
padrões de
dados
conhecimento

15. pré-processamento?
Exemplo: discretização de valores numéricos.
O intervalo é desconhecido.

16. data stream mining
Resumo do fluxo:

17. Trabalhos com comparativos de resultados.
Na grande maioria com bases estacionárias.

18. data streamdata mining
(tradicional)
múltiplos passos único
ilimitado
ilimitado
acurácia
tempo restrito
memória restrita
aproximação

19. data stream mining
Três dimensões
influenciam
memória tempo
poder de generalização

20. data stream mining
Três dimensões
influenciam
EQUILÍBRIO
memória tempo
poder de generalização

21. data stream mining | ferramenta
{M}assive {O}nline {A}nalysis
Evolução do popular WEKA,
voltado para Data Stream Mining.
https://github.com/Waikato/moa

22. data stream mining
Interface gráfica

23. data stream mining
Contexto:
Machine Learning
Distributed
Batch
Hadoop
Mahout
Stream
S4, Storm, Samza
SAMOA
Non Distributed
Batch
R, Weka, ...
Stream
MOA

24. data stream mining
Leitura dos dados.

25. data stream mining
Leitura dos dados.
Através de janelas deslizantes.

26. data stream mining
Leitura dos dados.
Conjunto de dados
𝒊 𝒏
( f ) Tamanho da amostragem
𝒊 𝟏

27. data stream mining
Leitura dos dados, capturando amostras ( f ).
Conjunto de dados (5M)
𝒊 𝒏
( f =100K ) Tamanho da amostragem
𝒊 𝟏

28. data stream mining
Leitura dos dados, capturando amostras ( f ).
Conjunto de dados (5M)
𝒊 𝟏 𝒊 𝒏
( f =100K ) Tamanho da amostragem

29. data stream mining
Leitura dos dados, capturando amostras ( f ).
Conjunto de dados (5M)
𝒊 𝟏 𝒊 𝒏
( f =100K ) Tamanho da amostragem
(w) tamanho da janela

30. data stream mining
Uma janela (w) desliza sobre a amostragem.
Conjunto de dados (5M)
𝒊 𝟏 𝒊 𝒏
( f =100K ) Tamanho da amostragem
(w=1K) tamanho da janela

31. data stream mining
Uma janela (w) desliza sobre a amostragem.
𝒊 𝟏 𝒊 𝒏
( f =100K ) Tamanho da amostragem
(w=1K) tamanho da janela

32. data stream mining
Para cada amostragem, o processo de aprendizado:
PARA CADA AMOSTRAGEM ( f =100K )
CAPTURA JANELAS (w=1K)
1. Processa o Algoritmo;
2. Atualiza Estatísticas;
3. Atualiza Modelo;

33. data stream mining
Para cada amostragem, o processo de aprendizado:
PARA CADA AMOSTRAGEM ( f =100K )
CAPTURA JANELAS (w=1K)
1. Processa o Algoritmo;
2. Atualiza Estatísticas;
3. Atualiza Modelo;

34. data stream mining
Dentro do processo de aprendizado:
1. Definição do Algoritmo;
2. Definição dos critério para a
seleção de atributos;

35. data stream mining
Aplicando a ferramenta na prática.
Exemplo Base Airlines
Passo 1: qual o tipo de tarefa ? REGRESSÃO

36. data stream mining
Contexto:
Aprendizado de Máquina
Supervisionado
Classificação Regressão
Não Supervisionado
Clusterização Associação

37. data stream mining
Exemplo de dados: Base Airlines
•
•
•
•

38. data stream mining
Aplicando a ferramenta na prática.
Passo 2: qual(is) algoritmo(s)?

39. data stream mining
Aplicando a ferramenta na prática.
• FIMT-DD
• AMRules
Alguns algoritmos (MOA) para REGRESSÃO
• IBLStreams
• SNF Regressor

40. data stream mining
Algoritmos selecionados:
• FIMT-DD: Fast Incremental Model Tree with Drift Detect
• AMRules: Associate Model Rules
• IBLStreams: Instance-Base Learning
• SNF Regressor: Scalar Free-Network

41. regressão
Como avaliar o resultado da regressão (erro)?
x1 x2 x3 y predicted
3.0 5.0 4.0 18 16
1.5 6.0 4.5 26 27
1.0 4.0 7.8 4 1
Mean Absolute ErrorMétrica muito utilizada:

42. regressão
Como avaliar o resultado da regressão (erro)?
x1 x2 x3 y predicted diff
3.0 5.0 4.0 18 16 2
1.5 6.0 4.5 26 27 -1
1.0 4.0 7.8 4 1 3
SUM(ABS(y-predicted))
÷
COUNT(instances)
𝑀𝐴𝐸 =
1
𝑛
෍
𝑖−1
𝑛
𝑦𝑖 − 𝑦𝑖
′

43. regressão
Como avaliar o resultado da regressão (erro)?
x1 x2 x3 y predicted diff
3.0 5.0 4.0 18 16 2
1.5 6.0 4.5 26 27 -1
1.0 4.0 7.8 4 1 3
𝑀𝐴𝐸 =
1
𝑛
෍
𝑖−1
𝑛
𝑦𝑖 − 𝑦𝑖
′
6
÷
3
2

44. Base Airlines
•
•
•
•
data stream mining - exemplo

45. Base Airlines
Year,Month,DayofMonth,DayofWeek,CRSDepTime,CRSArrTime,
UniqueCarrier,FlightNum,ActualElapsedTime,Origin,Dest,
Distance,Diverted,ArrDelay
2008,1,1,2,10,737,NW,336,274,LAX,DTW,1979,0,-3
2008,1,1,2,15,823,B6,172,299,SMF,JFK,2521,0,-19
2008,1,1,2,25,535,AA,622,182,SMF,DFW,1431,0,12
2008,1,1,2,25,709,DL,430,266,PHX,JFK,2153,0,-24
2008,1,1,2,30,444,AS,198,222,ANC,SEA,1449,0,24
data stream mining - exemplo

46. Resultados
data stream mining - exemplo
memória tempo
poder de generalização

47. Resultados
data stream mining - exemplo
MAE
• AMRules ...........
• FIMT-DD ............
• IBLStreams .......
• SFN+AMRules ...
• SFN+FIMT-DD ...
12,54
11,26
x
10,97
11,29

48. Resultados
data stream mining - exemplo
Memória
• AMRules ...........
• FIMT-DD ............
• SFN+AMRules ...
• SFN+FIMT-DD ...
125
10
76
93MB

49. Resultados
data stream mining - exemplo
Tempo
• AMRules ...........
• FIMT-DD ............
• SFN+AMRules ...
• SFN+FIMT-DD ...
415
12
388
82minutos

50. Resultados
data stream mining - exemplo
FIMT-DD,
12
Tempo

51. Data stream mining
Data Stream Mining deve prever concept drift :

52. Data stream mining
Data Stream Mining deve prever concept drift :
•
•

53. Data stream mining
Data Stream Mining deve prever concept drift :
•
•

54. Base sintética - Friedman
•
•
•
•
concept drift - configuração

55. Base sintética - Friedman
concept drift - configuração

56. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
C1 C2 C3 C4

57. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
f
C1

58. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
f
C1

59. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
f
C2

60. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
f
C3

61. concept drift - configuração
Base Friedman:
Geração de 4 diferentes configurações (concept) com 1M de instâncias:
f
C4

62. concept drift - configuração
Base Friedman:
Última configuração é uma cópia da primeira:
C1 C2 C3 C4 C5

63. concept drift - configuração
Base Friedman:
Última configuração é uma cópia da primeira:
C1 C2 C3 C4 C5
1MI + 1MI + 1MI + 1MI + 1MI = 5 MI
instâncias

64. concept drift - configuração
Base Friedman, bases derivadas:
+ 2 bases foram geradas a partir da original:
Fried FriedChar FriedWOx4
Original Convertendo o valor (x4)
numérico para caractere
1=A, 2=B, ...
Removendo o atributo x4

65. concept drift - resultados
Tempo (min) de aprendizado para cada base de dados
8 8
55 5 4
29 27
19
8
21
17
0
5
10
15
20
25
30
35
Fried FriedChar FriedWOx4
AMRules FIMT-DD SFN AMRules SFN FIMT-DD

66. concept drift - resultados
Avaliando o comportamento durante a evolução do processo:
0
5
10
15
20
25
30
0,1 1,1 2,1 3,1 4,1
ErroMAE
Instâncias (Milhão)
Análise do Erro MAE - Fried
AMRules FIMT-DD SFN AMRules SFN FIMT-DD

67. concept drift - resultados
Avaliando o comportamento durante a evolução do processo:
0
5
10
15
20
25
30
35
40
0,1 1,1 2,1 3,1 4,1
ErroMAE
Instâncias (Milhão)
Análise do Erro MAE - FriedChar
AMRules FIMT-DD SFN AMRules SFN FIMT-DD

68. concept drift - resultados
Avaliando o comportamento durante a evolução do processo:
21
23
25
27
29
0,1 1,1 2,1 3,1 4,1
ErroMAE
Instâncias (Milhão)
Análise do Erro MAE - FriedWOx4
AMRules FIMT-DD SFN AMRules SFN FIMT-DD

69. data stream mining - resumo
•Pré-Processamento
•Treinamento
•Concept Drift
•Métodos de Validação

70. Globalcode – Open4education
Data Science
Data Stream Mining:
trabalhando com dados massivos
André Luís Nunes
nunes.br@gmail.com
THE DEVELOPER’S CONFERENCE POA-2018