O documento discute classificação de textos, apresentando os principais tópicos do processo: pré-processamento de texto (remoção de stop words, representação em saco de palavras, stemming e pesagem), classificadores como Naive Bayes e medidas de avaliação.

1. Tópicos de machine learning
Classificação de textos
@josevalim
http://blog.plataformatec.com.br

2. Quem sou eu?

4. Mestrado na Itália com tese em
classificação de textos

5. Desenvolvedor Ruby a mais de
3 anos, contribuidor ativo do
Rails Core

6. Motivação

7. Nas últimas décadas, a robótica
desbravou a visão computacional.
O que vêm em seguida?

8. Em 2006, o Google indexou mais
de 25 bilhões de documentos

9. 95% de todos os e-mails
enviados são spams

10. O que é classificação de texto?

11. É a assinalação de forma
automática de um documento a
um pré-definido grupo de
classes baseada em seu
conteúdo

12. Conteúdo
• Pré-processamento
• Classificadores
• Medidas

13. Conteúdo
• Pré-processamento
- Remoção de stop words
- Representação
- Stemming
- Pesagem
• Classificadores
• Medidas

14. Remoção de stop words

15. Stop words são palavras em um
texto desprovidas de semântica

16. Assunto: Especificações do
protocolo http
Eu preciso das especificações,
ou pelo menos, uma
interpretação verbosa das
especificações do protocolo
http. Artigos técnicos ou
referência a livros também
seriam de grande ajuda.

17. Assunto: Especificações do
protocolo http
Eu preciso das especificações,
ou pelo menos, uma
interpretação verbosa das
especificações do protocolo
http. Artigos técnicos ou
referência a livros também
seriam de grande ajuda.

18. Assunto: Especificações do
protocolo http especificações protocolo http
Eu preciso das especificações, preciso especificações pelo
ou pelo menos, uma menos interpretação verbosa
interpretação verbosa das especificações protocolo http
especificações do protocolo artigos técnicos referência
http. Artigos técnicos ou livros também seriam grande
referência a livros também ajuda
seriam de grande ajuda.

19. Representação

20. A representação mais comum é
em saco de palavras (bag of
words)

21. especificações protocolo http
preciso especificações pelo
menos interpretação verbosa
especificações protocolo http
artigos técnicos referência
livros também seriam grande
ajuda

22. especificações protocolo http Palavra Peso
preciso especificações pelo
menos interpretação verbosa
especificações protocolo http
artigos técnicos referência
livros também seriam grande
ajuda

23. especificações protocolo http Palavra Peso
preciso especificações pelo especificações 3
menos interpretação verbosa
especificações protocolo http
artigos técnicos referência
livros também seriam grande
ajuda

24. especificações protocolo http Palavra Peso
preciso especificações pelo especificações 3
menos interpretação verbosa protocolo 2
especificações protocolo http
artigos técnicos referência
livros também seriam grande
ajuda

25. especificações protocolo http Palavra Peso
preciso especificações pelo especificações 3
menos interpretação verbosa protocolo 2
especificações protocolo http interpretação 1
artigos técnicos referência
livros também seriam grande
ajuda

26. especificações protocolo http Palavra Peso
preciso especificações pelo especificações 3
menos interpretação verbosa protocolo 2
especificações protocolo http interpretação 1
artigos técnicos referência artigos 1
livros também seriam grande
ajuda

27. especificações protocolo http Palavra Peso
preciso especificações pelo especificações 3
menos interpretação verbosa protocolo 2
especificações protocolo http interpretação 1
artigos técnicos referência artigos 1
livros também seriam grande
ajuda ajuda 1

28. Stemming

29. Stemming mapeia cada termo
de um documento para sua raiz
(morfológica)

30. andei, andou, andamos

31. andei, andou, andamos => andar

32. Pesagem

33. Pesagem por frequência

34. Palavra Peso
especificações 3
protocolo 2
interpretação 1
artigos 1
ajuda 1

35. Pesagem por TF-IDF

36. Pesagem por TF-IDF

37. Pesagem por TF-IDF

38. Pesagem por TF-IDF
Term frequency

39. Pesagem por TF-IDF
Term frequency
Palavra Peso
especificações 3
protocolo 2
interpretação 1
artigos 1
ajuda 1

40. Pesagem por TF-IDF
Term frequency *
Palavra Peso
especificações 3
protocolo 2
interpretação 1
artigos 1
ajuda 1

41. Pesagem por TF-IDF
Term frequency *
Palavra Peso
especificações 3
protocolo 2
interpretação 1
artigos 1
ajuda 1

42. Pesagem por TF-IDF
Inverse document
Term frequency *
frequency
Palavra Peso
especificações 3
protocolo 2
interpretação 1
artigos 1
ajuda 1

43. Pesagem por TF-IDF
Inverse document
Term frequency *
frequency
Palavra Peso
especificações 3
protocolo 2
idf(tk) = log |N / df(tk)|
interpretação 1
artigos 1
ajuda 1

44. Conteúdo
• Pré-processamento
- Remoção de stop words
- Representação
- Stemming
- Pesagem
• Classificadores
• Medidas

45. Conteúdo
• Pré-processamento
• Classificadores
- Naive bayes
- k nearest neighbors
- Rocchio classifier
- Support vector machines
• Medidas

46. Naive Bayes

47. Modelo matématico simples

48. Baseado no Teorema de Bayes

49. P(ci|dj)

50. P(ci|dj) =

51. P(ci|dj) = P(ci)

52. P(ci|dj) = P(ci) *

53. P(ci|dj) = P(ci) * P(dj|ci)

54. P(ci|dj) = P(ci) * P(dj|ci) / P(dj)

56. Exemplo: duas classes, cinco
documentos de exemplo

57. Document Class
Ruby is a dynamic language Language
Ruby has color between pink and red Gemstone
Gems is a ruby packaging system Language
Ruby is one of the four precious gems Gemstone
The Ruby language was born in Japan Language

58. Document Class
Ruby is a dynamic language Language
Ruby has color between pink and red Gemstone
Gems is a ruby packaging system Language
Ruby is one of the four precious gems Gemstone
The Ruby language was born in Japan Language

59. Term Language Gemstone
ruby 3 2
gems 1 1
dynamic 1 0
language 2 0
color 0 1
pink 0 1
red 0 1
package 1 0
precious 0 1
japan 1 0

60. (valor inicial + ocorrencias de wk em ci)
P(wk|ci) =
(peso do valor inicial + numero de
documentos em ci)

61. (0.5 + ocorrencias de wk em ci)
P(wk|ci) =
(1 + numero de documentos em ci)

62. Term Language Gemstone
ruby (0.5+3) / (1+3) (0.5+2) / (1+2)
gems (0.5+1) / (1+3) (0.5+1) / (1+2)
dynamic (0.5+1) / (1+3) (0.5+0) / (1+2)
language (0.5+2) / (1+3) (0.5+0) / (1+2)
color (0.5+0) / (1+3) (0.5+1) / (1+2)
pink (0.5+0) / (1+3) (0.5+1) / (1+2)
red (0.5+0) / (1+3) (0.5+1) / (1+2)
package (0.5+1) / (1+3) (0.5+0) / (1+2)
precious (0.5+0) / (1+3) (0.5+1) / (1+2)
japan (0.5+1) / (1+3) (0.5+0) / (1+2)

63. Term Language Gemstone
ruby 0.88 0.83
gems 0.38 0.5
dynamic 0.38 0.17
language 0.62 0.17
color 0.12 0.5
pink 0.12 0.5
red 0.12 0.5
package 0.38 0.17
precious 0.12 0.5
japan 0.38 0.17

64. A qual classe pertence o documento:
“My ruby gems arrived in a pink
package”

65. A qual classe pertence o documento:
“My ruby gems arrived in a pink
package”

66. P(language|d) = P(ci) * P(d|ci) / P(d)

67. P(language|d) = P(ci) * P(d|ci) / P(d)

68. P(language|d) = P(ci) * P(d|ci) / P(d)
documentos em language /
total documentos = 0.6

69. P(language|d) = P(ci) * P(d|ci) / P(d)
documentos em language /
total documentos = 0.6

70. P(language|d) = P(ci) * P(d|ci) / P(d)
documentos em language /
total documentos = 0.6
P(ruby|language) * P(gems|language) *
P(pink|language) * P(package|language)

71. P(language|d) = P(ci) * P(d|ci) / P(d)
documentos em language /
total documentos = 0.6
P(ruby|language) * P(gems|language) *
P(pink|language) * P(package|language)

72. P(language|d) = P(ci) * P(d|ci) / P(d)
documentos em language /
total documentos = 0.6
P(ruby|language) * P(gems|language) *
P(pink|language) * P(package|language)
Não importa ...

73. P(gemstone|d) = P(ci) * P(d|ci) / P(d)

74. P(gemstone|d) = P(ci) * P(d|ci) / P(d)

75. P(gemstone|d) = P(ci) * P(d|ci) / P(d)
documentos em gemstone /
total documentos = 0.4

76. P(gemstone|d) = P(ci) * P(d|ci) / P(d)
documentos em gemstone /
total documentos = 0.4

77. P(gemstone|d) = P(ci) * P(d|ci) / P(d)
documentos em gemstone /
total documentos = 0.4
P(ruby|gemstone) * P(gems|gemstone) *
P(pink|gemstone) * P(package|gemstone)

78. P(gemstone|d) = P(ci) * P(d|ci) / P(d)
documentos em gemstone /
total documentos = 0.4
P(ruby|gemstone) * P(gems|gemstone) *
P(pink|gemstone) * P(package|gemstone)

79. P(gemstone|d) = P(ci) * P(d|ci) / P(d)
documentos em gemstone /
total documentos = 0.4
P(ruby|gemstone) * P(gems|gemstone) *
P(pink|gemstone) * P(package|gemstone)
Não importa ...

81. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)

82. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)
P(gemstone|d) = 0.4 * 0.83 * 0.5 * 0.5 * 0.17 / P(d)

83. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)
P(gemstone|d) = 0.4 * 0.83 * 0.5 * 0.5 * 0.17 / P(d)
P(language|d) = 0.009149 / P(d)

84. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)
P(gemstone|d) = 0.4 * 0.83 * 0.5 * 0.5 * 0.17 / P(d)
P(language|d) = 0.009149 / P(d)
P(gemstone|d) =0.014110 / P(d)

85. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)
P(gemstone|d) = 0.4 * 0.83 * 0.5 * 0.5 * 0.17 / P(d)
P(language|d) = 0.009149 / P(d)
P(gemstone|d) =0.014110 / P(d)
P(gemstone|d) > P(language|d)

86. P(language|d) = 0.6 * 0.88 * 0.38 * 0.12 * 0.38 / P(d)
P(gemstone|d) = 0.4 * 0.83 * 0.5 * 0.5 * 0.17 / P(d)
P(language|d) = 0.009149 / P(d)
P(gemstone|d) =0.014110 / P(d)
P(gemstone|d) > P(language|d)
d pertence à classe gemstone

87. Considera que as palavras em
um documento são
independentes

88. Simples e rápido

89. k-nearest neighbor (k-nn)

90. Representa documentos no espaço
como um vetor em função dos seus
pesos

91. Um documento é classificado ao
analizar os k documentos mais
próximos a ele

92. Document Class
Ruby is a dynamic language Language
Ruby has color between pink and red Gemstone
Gems is a ruby packaging system Language
Ruby is one of the four precious gems Gemstone
The Ruby language was born in Japan Language

93. <ruby, language, dynamic, gems, color, pink, red, package, precious, japan>
<1, 1, 1, 0, 0, 0, 0, 0, 0, 0>
<1, 0, 0, 1, 1, 1, 1, 0, 0, 0>
<1, 0, 0, 1, 0, 0, 0, 1, 0, 0>
<1, 0, 0, 1, 0, 0, 0, 0, 1, 0>
<1, 1, 0, 0, 0, 0, 0, 0, 0, 1>

94. A qual classe pertence o documento:
“My ruby gems arrived in a pink
package”

95. <ruby, language, dynamic, gems, color, pink, red, package, precious, japan>
<1, 1, 1, 0, 0, 0, 0, 0, 0, 0>
<1, 0, 0, 1, 1, 1, 1, 0, 0, 0>
<1, 0, 0, 1, 0, 0, 0, 1, 0, 0>
<1, 0, 0, 1, 0, 0, 0, 0, 1, 0>
<1, 1, 0, 0, 0, 0, 0, 0, 0, 1>
<1, 0, 0, 1, 0, 1, 0, 1, 0, 0>

96. Documents Distance Class
<1, 1, 1, 0, 0, 0, 0, 0, 0, 0> 5 Language
<1, 0, 0, 0, 1, 1, 1, 0, 0, 0> 4 Gemstone
<1, 0, 0, 1, 0, 0, 0, 1, 0, 0> 1 Language
<1, 0, 0, 1, 0, 0, 0, 0, 1, 0> 3 Gemstone
<1, 1, 0, 0, 0, 0, 0, 0, 0, 1> 5 Language
<1, 0, 0, 1, 0, 1, 0, 1, 0, 0>

97. 5 4 3 2 1 ?
language
gemstone

98. 5 4 3 2 1 ?
language
gemstone

99. 5 4 3 2 1 ?
language
gemstone

100. 5 4 3 2 1 ?
language
gemstone

101. 5 4 3 2 1 ?
language
gemstone

102. 5 4 3 2 1 ?
language
gemstone

103. Para k = 1

104. 5 4 3 2 1 ?
language
gemstone

105. Documento pertence a language

106. Para k = 3

107. 5 4 3 2 1 ?
language
gemstone

108. Documento pertence a gemstone

109. Porém, k-nn sempre precisa de
todos os dados de treino

110. Classificador pesado e lento

111. Rocchio classifier

112. Similar ao k-nn, porém
representa os documentos
como uma média

113. 5 4 3 2 1 ?
language
gemstone

114. 5 4 3 2 1 ?
language
gemstone

115. 5 4 3 2 1 ?
language
gemstone

116. 5 4 3 2 1 ?
language
gemstone

117. 5 4 3 2 1 ?
language
gemstone

118. Para classificar um documento,
calculamos a sua distância às
médias

119. 3.5
5 4 3 2 1 ?
3.66
language
gemstone

120. Documento pertence a gemstone

121. Rocchio é leve e rápido, porém
possui um problema óbvio...

124. ?

125. ?

126. Support Vector Machines
(SVM)

127. Teoria matemática complexa

128. Também representa os documentos
no espaço

129. Acha um hiperplano que divide o
espaço dos documentos em dois

130. 5 4 3 2 1
language
gemstone

131. language
gemstone

132. language
gemstone

133. Calcular este hiperplano,
geralmente exige muito
processamento

134. Porém classificar um documento é
rápido, basta determinar qual lado
do hiperplano ele está

135. language
gemstone

136. ?
language
gemstone

137. ?
language
gemstone

138. Conteúdo
• Pré-processamento
• Classificadores
- Naive bayes
- k nearest neighbors
- Rocchio classifier
- Support vector machines
• Medidas

139. Conteúdo
• Pré-processamento
• Classificadores
- Naive bayes
- k nearest neighbors
- Rocchio classifier
- Support vector machines
• Medidas

140. Medidas

141. Analisar um classificador por
sua acurácia é errado

142. Classe real
p n
Verdadeiro Falso
p
Classe Positivo Positivo
predita Falso Verdadeiro
n
Negativo Negativo

143. Acurácia = (VP + VN) / (VP + VN + FP + FN)

144. A acurácia esconde potenciais
falso positivos ou falso
negativos

145. Use precisão e revocação

146. Precisão = VP / (VP + FP)

147. Revocação = VP / (VP + FN)

148. Alta precisão significa poucos
falso positivos, alta revocação
equivale a poucos falso negativos

149. Alguns resultados...

150. Dataset da Reuters - RCV1-v2

151. Precisão Revocação
100%
94.5 93.4 92.2
92.3
87.5% 89.9
85.5
80.3
75% 75.7
62.5%
50%
Naive Bayes k-NN Rocchio SVM

152. No geral, SVM possui os melhores
resultados

153. Naive Bayes possui altíssima
precisão, excelente para filtros
anti-spam

154. Conteúdo
• Pré-processamento
• Classificadores
• Medidas

155. ?!
@josevalim
http://blog.plataformatec.com.br