O documento discute estudos de caso em mineração de textos, descrevendo as etapas típicas do processo como pré-processamento, cálculo de frequências, redução de dimensionalidade e classificação supervisionada ou não supervisionada. Um exemplo é dado de discriminar mensagens comerciais (spam) em um projeto de mineração de texto.

1. Introdução à Mineração de Dados
Estudos de caso (II)
Luis Paulo Vieira Braga
braga@dme.ufrj.br
lpbraga@geologia.ufrj.br
II Semana da ABE no Rio de Janeiro
ENCE
14, 15, 16 de setembro de 2009

2. Page  2
ESTUDOS DE CASO (Mineração de Textos)
Mineração de Textos
Luis Paulo Vieira Braga

3. Page  3
ESTUDOS DE CASO (Mineração de Textos)
O objetivo da mineração de textos é o processamento de
informação textual, podendo ser analisadas palavras,
agrupamentos de palavras, ou mesmo documentos entre
si através das suas similaridades ou de suas relações
com outras variáveis de interesse. Algumas aplicações
típicas para mineração de textos são a análise de
questões abertas em questionários, o processamento
automático de mensagens e a busca de referências em
uma coleção de artigos.Melhores resultados são obtidos
para um grande número de textos de tamanho médio ou
pequeno, ao invés de poucos textos longos.

4. Page  4
ESTUDOS DE CASO (Mineração de Textos)
As etapas em um projeto de mineração de textos
podem ser esquematizadas como:
a) entrada dos textos;
b) pré-processamento;
c) cálculo de freqüências;
d) redução de dimensionalidade;
e) visualização;
f) classificação não supervisionada
ou supervisionada.

5. Page  5
ESTUDOS DE CASO (Mineração de Textos)
Exemplo de um texto, em um
Projeto de Mineração destinado
a discriminar mensagens
comerciais (spam)

6. Page  6
ESTUDOS DE CASO (Mineração de Textos)
Os textos passam a
ser os dados.

7. Page  7
ESTUDOS DE CASO (Mineração de Textos)
Pré-Processamento

8. Page  8
ESTUDOS DE CASO (Mineração de Textos)

9. Page  9
ESTUDOS DE CASO (Mineração de Textos)

10. Page  10
ESTUDOS DE CASO (Mineração de Textos)
Cálculo de frequências

11. Page  11
ESTUDOS DE CASO (Mineração de Textos)
Frequências
binárias

12. Page  12
ESTUDOS DE CASO (Mineração de Textos)
Redução de
dimensionalidade

13. Page  13
ESTUDOS DE CASO (Mineração de Textos)

14. Page  14
ESTUDOS DE CASO (Mineração de Textos)
Classificação Não
Supervisionada

15. Page  15
ESTUDOS DE CASO (Mineração de Textos)
Classificação final

16. Page  16
ESTUDOS DE CASO (Mineração de Textos)
Validação

17. Page  17
ESTUDOS DE CASO (Mineração de Textos)
Gráfico de
Alavancagem