Apresentação realizada no TDC 2015 em Porto Alegre. Trilha BIG DATA.

1. Globalcode – Open4education
Trilha BigData
Conceitos e Práticas no
Desenvolvimento de Sistemas
Preditivos
Rodrigo de Moraes e Wagner Luiz Cambruzzi
Mestres em Computação Aplicada

2. Globalcode – Open4education
Conceitos
Sistemas Preditivos

3. Globalcode – Open4education
Sistemas Preditivos
O que é:
Um sistema preditivo é um sistema capaz de analisar
dados e definir um modelo matemático da relação
existente entre os dados de fatos prévios a
determinados acontecimentos.
Como:
Através da aplicação de técnicas de Mineração de
Dados e de Aprendizado de Máquina.

4. Globalcode – Open4education
Mineração de Dados
Processo de Descoberta do Conhecimento
Processo VS. Etapa
Objetivo: Extração de conhecimento não trivial através
da análise e processamento de dados referentes a fatos
ocorridos no passado

5. Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Não supervisionado

6. Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Aprendizado sobre dados históricos cujo o resultado de
interesse é conhecido
Não supervisionado
Identificação de padrões semelhantes existentes nos
dados, sem informação prévia de qualquer relação entre
eles

7. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação

8. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Objetivo: Estimar o valor de alguma variável baseado na
observação de outras variáveis
Exemplo: Estimar o valor de mercado de uma casa baseado em
sua metragem, número de quartos, número de banheiros e etc...

9. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering

10. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Objetivo: Encontrar agrupamentos de amostras de dados com
base na semelhança dos valores de variáveis
Exemplo: Identificação de diferentes perfis de consumidores,
Categorias de documentos textuais...

11. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação

12. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Objetivo: Identificação de concorrência de valores de variáveis
Exemplo: Correlação entre itens em compras, identificação de
padrões de escrita...

13. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias

14. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Objetivo: Identificação de situações/comportamentos fora do
padrão
Exemplo: Fraudes em movimentações bancárias / utilização de
cartões de créditos

15. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação/Predição

16. Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação/Predição
Objetivo: Identificação de padrões nos dados capazes de
distinguir diferentes grupos de amostras
Exemplo: Classificação de documentos, Classificação de
polaridade de sentimentos, sucesso ou insucesso acadêmico

17. Globalcode – Open4education
Classificadores
Naïve Bayes
Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/

18. Globalcode – Open4education
Classificadores
Decision Trees (Árvores de Decisão)

19. Globalcode – Open4education
Classificadores
Decision Trees
Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199

20. Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores

21. Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

22. Globalcode – Open4education
Support Vector Machines (SVM)
Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA
Classificadores

23. Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

24. Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)

25. Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)

26. Globalcode – Open4education
Séries temporais
Dados que variam “continuamente” no tempo e
que cada um dos valores apresenta certa
dependência em relação aos valores do passado
Exemplos:
Mercado Financeiro
Consumo de energia elétrica
Temperatura
Umidade

27. Globalcode – Open4education
Séries temporais

28. Globalcode – Open4education
Os problemas dos dados
Formato do dado / Armazenamento / Integridade
Compatibilidade de histórico
Alterações e migrações de sistemas
Metodologia de definição de variáveis
Existências de poucos dados (amostras) sobre o
problema
Existência de dados supervisionados
Critérios de definição de classes
Desbalanceamento entre classes

29. Globalcode – Open4education
Estudo de caso de um
sistema preditivo

30. Globalcode – Open4education
Contexto

31. Globalcode – Open4education
Perfil da Empresa
• 28 anos de atuação;
• Especialista em Sistema de Gestão Educacional;
• Atuação exclusiva no segmento educacional;
• 700+ clientes no Brasil;
• 130+ colaboradores.

32. Globalcode – Open4education
Como nasceu o projeto?
• Unidade de Novos Negócios;
• Problema da evasão em IES;
• Projeto RHAE do CNPQ;
• Grupo de Pesquisa e Mestrados;
• Validação da Ideia;
• Produto.

33. Globalcode – Open4education
O que é o GVwise?
Uma solução que atua na gestão da
retenção de alunos.

34. Globalcode – Open4education
Dados?
Eventos
Professores e
Tutores
AdministrativoCoordenações
2. Instituição de Ensino
Ambiente Virtual
de Aprendizagem
3. Dados
Atendimento
1. Estudantes

35. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

36. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
1 – Mapeamento de indicadores
AVEA, ERP, CRM, ...
Indicadores
Exploração dos dados
Como funciona?

37. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

38. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

39. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
2 - Geração e validação de padrões
Definição de perfis
Indicadores de estudantes
(histórico)
Aprovados
Reprovados
Evadidos
Identificação dos grupos deinteresse
Mineração dedados e
identificação depadrões
Como funciona?

40. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

41. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

42. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
3 - Predição e emissão de alertas
Módulo de
encaminhamentos
Estudantes classificados conforme o
risco
Classificação ou prediçãoIndicadores de estudantes
(atuais)
Central de Atendimento
Ações automáticas
Equipe de Retenção
Como funciona?

43. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

44. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

45. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
4 - Avaliação e realização de ações
Analise dos estudantes em
risco Realização deações
Aumento da Permanência
Gerência do Processo
Como funciona?

46. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

47. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

48. Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?

49. Globalcode – Open4education
Como entregamos?
 Interface de acompanhamento de uma turma

50. Globalcode – Open4education
Como entregamos?
 Interface de acompanhamento de uma turma

51. Globalcode – Open4education
 Interface de indicadores de um estudante
Como entregamos?

52. Globalcode – Open4education
 Interface de acompanhamento gráfico de indicadores do estudante
Como entregamos?

53. Globalcode – Open4education
 Cadastro de ações
Como entregamos?

54. Globalcode – Open4education
 Histórico de ações
Como entregamos?

55. Globalcode – Open4education
Resultados de Predição
0,00%
20,00%
40,00%
60,00%
80,00%
100,00%
Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7
Geral
Evadidos
Não Evadidos

56. Globalcode – Open4education
 Aprovados: melhoria de 18%
 Evadidos: melhoria de 25%
Resultados de Retenção

57. Globalcode – Open4education
Obrigado!
Rodrigo de Moraes – rmoraes@gvwise.com.br
Wagner Cambruzzi – wcambruzzi@gvwise.com.br