inteligência artificial - fuzzy - mineração

846 visualizações

Publicada em

slides aula minareção e fuzzy

Publicada em: Tecnologia
  • Seja o primeiro a comentar

inteligência artificial - fuzzy - mineração

  1. 1. Inteligência Artificial Prof. Charles Fortes Fuzzy Mineração de dados
  2. 2. Inteligência Artificial Prof. Charles Fortes Charles Fortes
  3. 3. Inteligência Artificial Prof. Charles Fortes Charles Fortes Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors
  4. 4. Inteligência Artificial Prof. Charles Fortes Charles Fortes Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors SlideShare: http://pt.slideshare.net/charleswellingtonfortes Linkedin: http://br.linkedin.com/in/charlesfortes/ Twitter: @CharlesFortes
  5. 5. Inteligência Artificial Prof. Charles Fortes Charles Fortes Líder Técnico na Empresa Prime Systems. Agilista, apaixonado por desenvolvimento (Web, Desktop, Mobile, o que for), pai, amante do Paintball e do Kenjutsu. MTAC - Microsoft Technical Audience Contributor 100Loop - DotNetRaptors Desenvolvimento Web – MVC – Angular.JS – JQuery – SQLServer – MySQL – HTML5 – NoSQL
  6. 6. Inteligência Artificial Prof. Charles Fortes Sistemas Fuzzy
  7. 7. Inteligência Artificial Prof. Charles Fortes • Vago • Indistinto • Incerto • Nebuloso • Difuso Fuzzy
  8. 8. Inteligência Artificial Prof. Charles Fortes Criada por Aristóteles em mais de 300 antes de cristo, usava uma linha de raciocínio lógico baseada em premissas e conclusões onde a declaração é verdadeira ou falsa. Lógica Binária
  9. 9. Inteligência Artificial Prof. Charles Fortes Premissa1: todo ser vivo é mortal Premissa2: Sarah é um ser vivo Conclusão: Sarah é mortal Lógica Binária Sarah não pode ser um pouco mortal
  10. 10. Inteligência Artificial Prof. Charles Fortes O conceito da dualidade, onde algo pode coexistir com seu oposto. Lógica difusa “Entre a certeza de ser e a certeza de não ser, existem infinitos graus de incerteza”
  11. 11. Inteligência Artificial Prof. Charles Fortes • Aquele homem é alto ou baixo? • A taxa de risco para aquele empreendimento é grande ou pequena? • Hoje o dia esta parcialmente nublado! • Preciso perder alguns quilos para ficar bem! Lógica difusa
  12. 12. Inteligência Artificial Prof. Charles Fortes Lógica que suporta os modos de raciocínio que são aproximados, ao invés de exatos. Ela está baseada na teoria dos conjuntos nebulosos e difere dos sistemas lógicos tradicionais em suas características e detalhes. Lógica difusa
  13. 13. Inteligência Artificial Prof. Charles Fortes O objetivo da lógica Fuzzy é gerar uma saída lógica a partir de um conjunto de entradas não precisas, com ruídos ou até mesmo faltantes Lógica difusa
  14. 14. Inteligência Artificial Prof. Charles Fortes Lógica Fuzzy tem por essência gerar valores de a saídas sem a necessidade de entradas precisas Lógica difusa
  15. 15. Inteligência Artificial Prof. Charles Fortes Precisão vs importância Desloque-se 3,75 metros a sudoeste, um objeto metálico de 3.782kg está se deslocando a uma velocidade de 72metros por seguno na direção de sua cabeça
  16. 16. Inteligência Artificial Prof. Charles Fortes Sai daí! Uma bigorna vai cair na sua cabeça! Precisão vs importância
  17. 17. Inteligência Artificial Prof. Charles Fortes Teoria dos conjuntos fuzzy
  18. 18. Inteligência Artificial Prof. Charles Fortes Teoria dos conjuntos fuzzy
  19. 19. Inteligência Artificial Prof. Charles Fortes Algoritmos de aproximação de string Dice coeficient Leveinshtein Distance Longest Common Subsequence Double Metaphone Você quis dizer....
  20. 20. Inteligência Artificial Prof. Charles Fortes Comparação pela fonética  Jensn Double Metaphone for Jensn: ANSN ATMS metaphone for Adams PNSN metaphone for Benson JRLT metaphone for Geralds AHNS metaphone for Johannson ANSN metaphone for Johnson ANSN metaphone for Jensen ARTN metaphone for Jordon MTSN metaphone for Madsen STTR metaphone for Stratford FLKN metaphone for Wilkins Metaphone
  21. 21. Inteligência Artificial Prof. Charles Fortes Encontrar a maior subsequência comum entre os elementos  Jensn .04000, s against Adams .33333, ensn against Benson .05714, es against Geralds .08889, jnsn against Johannson .17143, jnsn against Johnson .56667, jensn against Jensen .06667, jn against Jordon .13333, en against Madsen .02222, s against Stratford .11429, ns against Wilkins Longest common subsequence
  22. 22. Inteligência Artificial Prof. Charles Fortes Mede a distancia entre duas sequencias. Simplificando é a medição do menor número de edições (inserir, deletar, editar) necessários para fazer uma palavra virar a outra  Jensn 4 against Adams 2 against Benson 5 against Geralds 5 against Johannson 3 against Johnson 1 against Jensen 4 against Jordon 4 against Madsen 8 against Stratford 6 against Wilkins Levenshtein distance
  23. 23. Inteligência Artificial Prof. Charles Fortes Mede a distancia entre duas sequencias. Simplificando é a medição do menor número de edições (inserir, deletar, editar) necessários para fazer uma palavra virar a outra  Jensn 4 against Adams 2 against Benson 5 against Geralds 5 against Johannson 3 against Johnson 1 against Jensen 4 against Jordon 4 against Madsen 8 against Stratford 6 against Wilkins Levenshtein distance
  24. 24. Inteligência Artificial Prof. Charles Fortes Comparação estatística entre duas sequencias Jensn .00000 against Adams .46154 against Benson .00000 against Geralds .37500 against Johannson .42857 against Johnson .76923 against Jensen .30769 against Jordon .30769 against Madsen .00000 against Stratford .14286 against Wilkins Dice coeficient
  25. 25. Inteligência Artificial Prof. Charles Fortes As respostas aceitáveis devem estar acima de 33%, sendo que abaixo de 20% são inaceitáveis, sendo o o intervalo de 33 a 20 duvidoso. Dice coeficient
  26. 26. Inteligência Artificial Prof. Charles Fortes Usa “n”gramas para fazer a análise  bigramas, trigramas, ngramas.... Dice coeficient var str2 = "chalk"; var str = "chlk"; %c ch hl lk k# %c ch ha al lk k#
  27. 27. Inteligência Artificial Prof. Charles Fortes Dice coeficient %c ch hl lk k# %c ch ha al lk k# 4 elementos iguais (2 * ElementosIguais) / QtdLista1+QtdLista2 (2*4) / 6+5 = 8 / 11 = 0,7272
  28. 28. Inteligência Artificial Prof. Charles Fortes https://github.com/tylerjensen/duovia-fuzzystrings Code sample
  29. 29. Inteligência Artificial Prof. Charles Fortes Mineração de dados
  30. 30. Inteligência Artificial Prof. Charles Fortes A informatização dos meios produtivos permitiu a geração de grandes volumes de dados: • Transações eletrônicas. • Novos equipamentos científicos e industriais para observação e controle. • Dispositivos de armazenamento em massa. • Computadores mais baratos e poderosos. Aproveitamento da informação permite ganho de competitividade através do conhecimento.
  31. 31. Inteligência Artificial Prof. Charles Fortes Abra a img!
  32. 32. Inteligência Artificial Prof. Charles Fortes Processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou seqüências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados Data Mining
  33. 33. Inteligência Artificial Prof. Charles Fortes Conjunto de ferramentas e técnicas que através do uso de algoritmos de aprendizagem ou classificação baseados em redes neurais e estatística, são capazes de explorar um conjunto de dados, extraindo ou ajudando a evidenciar padrões nestes dados e auxiliando na descoberta de conhecimento. Data Mining
  34. 34. Inteligência Artificial Prof. Charles Fortes - Extração não-trivial de informação implícia, previamente desconhecidos e potencialmente útil a partir dos dados - Exploração e análise, por meios automáticos e semi-automáticos de grandes quantidades de dados com o objetivo de descobrir padrões significativos Data Mining
  35. 35. Inteligência Artificial Prof. Charles Fortes Data Mining Mineração de Dados (Data Mining) CONHECIMENTO DADOS
  36. 36. Inteligência Artificial Prof. Charles Fortes Data Mining Documentos históricos da empresa, Internet, banco de dados, notícias Data Warehouse, Data Marts
  37. 37. Inteligência Artificial Prof. Charles Fortes • Mineração de dados é um processo que permite compreender o comportamento dos dados e prever resultados. • Mineração de dados analisa os dados usando técnicas de aprendizagem para encontrar padrões e regularidades nestes conjuntos de dados. • Mineração de dados é multidisciplinar, envolve inteligência artificial, estatística, reconhecimento de padrões etc.. • Mineração de dados pode ser bem aplicado em diversas áreas de negócios. Data Mining
  38. 38. Inteligência Artificial Prof. Charles Fortes • Previsão • Associação • Análise de grupos • Detecção de anomalias Data Mining
  39. 39. Inteligência Artificial Prof. Charles Fortes O processo de criação de um modelo de mineração de dados pode ser definido utilizando as seguintes etapas: • Definir o problema. • Preparar os dados. • Explorar os dados. • Criar os modelos. • Explorar e validar os modelos Modelo de mineração
  40. 40. Inteligência Artificial Prof. Charles Fortes Modelo de mineraçãoPreprocessamento  Limpeza dos dados, onde informações julgadas desnecessárias são removidas.  Reconfiguração dos dados para assegurar formatos consistentes (identificação) – Ex. : sexo = “F” ou “M” sexo = “M” ou “H” Transformação  Transformam-se os dados em formatos utilizáveis.
  41. 41. Inteligência Artificial Prof. Charles Fortes Modelo de mineração Mineração de Dados  É a extração dos padrões de comportamento dos dados Interpretação e Avaliação  Identificado os padrões pelo sistema, estes são interpretados em conhecimentos, os quais darão suporte a tomada de decisões humanas.
  42. 42. 42 Exemplos Reais Walmart • Walmart colocou cervejas ao lado das fraldas. • O que as cervejas tem a ver com as fraldas? • Homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa. • Walmart otimizou às gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas; • Resultado: o consumo de cerveja cresceu 30% .
  43. 43. 43 Exemplos Reais  Lojas Brasileiras (em 1998) • Aplicou 1 milhão de dólares em técnicas de data mining. • Reduziu de 51.000 produtos para 14.000 produtos oferecidos em suas lojas. • Exemplo de anomalias detectadas: – Roupas de inverno e guarda chuvas encalhadas no nordeste – Batedeiras 110v a venda em Santa Catarina onde a corrente elétrica é 220v Encerrou as operações em 1999 após uma série de prejuízos que vinham ocorrendo desde 1996. Sucessora Lojas Marisa.
  44. 44. Inteligência Artificial Prof. Charles Fortes Dúvidas?

×