O documento apresenta o ciclo de vida de um projeto de ciência de dados, com foco no pré-processamento de textos. Descreve as etapas como tokenização, remoção de stopwords, stemming e a construção de matrizes como bag-of-words e TF-IDF. O objetivo é classificar textos em categorias usando o conjunto de dados 20newsgroups após a preparação dos dados textuais.

1. Minerando
informações de textos
Trilha - Machine Learning
Bárbara Barbosa
@bahbbc

2. Quem sou eu
● Mestranda em Sistemas de
Informação - EACH/USP
● Organizadora do Rails Girls SP
desde 2015
● Cientista de dados na Creditas

4. Ciclo de vida de
um projeto de
Data Science

5. Ciclo de vida de um projeto de Data
Science
1 - Identificando o problema

6. Ciclo de vida de um projeto de Data
Science
2 - Preparando os dados

7. Ciclo de vida de um projeto de Data
Science
3 - Analisando os dados

8. Ciclo de vida de um projeto de Data
Science
4 - Visualizar ideias

9. Ciclo de vida de um projeto de Data
Science
5 - Apresentação das descobertas

10. E onde entram
os textos?

11. Que parte de um projeto de DS entra o
pré processamento textual?
Problema Preparação
dos dados
Análise de
dados
Visualização
de dados
Apresentação
10% 70% 10% 10% +80%

12. Mineração de textos
Processo de extrair informação à partir dos textos. Normalmente requer um pré
processamento dos dados.

13. Dicionário para
começar a falar
a língua do
NLP/PLN

14. Definições
● Corpus é um conjunto de n documentos;
● Termos são pedacinhos de cada documento, quebrados em palavras,
radicais ou conjunto de palavras;
Usaremos os termos de cada documento para fazer o pré processamento.
Considerando-se termos = palavras podemos fazer um pouco de pré
processamento para reduzir o conjunto de dados e evitar redundância.

15. Processos de
limpeza e
preparação de
textos

16. Tokenização
● Converter as frases do texto em palavras individuais;
É necessário para as próximas etapas de limpeza.

17. Limpeza de texto
● Conversão de todo o texto para letras minúsculas;
● Remover pontuações;
● Remover números;

18. Limpeza de texto
Cuidado com a limpeza textual!

19. StopWords
Uma lista de Stopwords é uma lista de palavras que não tem potencial para ajudar
a caracterizar o conteúdo de um texto.
Palavras como a, o, de, do, um, mais, mas, como, ou, seu, sua, etc.

20. StopWords
O snowball possui uma lista padrão de Stop Words para o português:
http://snowball.tartarus.org/algorithms/portuguese/stop.txt
StopWords podem reduzir o conjunto de dados de 30% a 50%

21. Stemming
Alguns experimentos mostram redução de 5% do tamanho original do córpus.

22. Matrizes de palavras
● Binária
Doc 1 - Gatos pretos dão mais sorte que gatos brancos.
Doc 2 - Meus gatos dão muito trabalho.
gatos pretos dão mais sorte que brancos doce muito
1 1 1 1 1 1 1 0 0
1 0 1 0 0 0 0 0 1

23. Matrizes de palavras
● Frequência
Doc 1 - Gatos pretos dão mais sorte que gatos brancos.
Doc 2 - Meus gatos dão muito trabalho.
gatos pretos dão mais sorte que brancos doce muito
2 1 1 1 1 1 1 0 0
1 0 1 0 0 0 0 0 1

24. Bag of Words (BoW)
São as matrizes de frequências, com um nome mais bonito.

25. Matrizes de palavras
● TF-IDF (Term Frequency Inverse Document Frequency)
Doc 1 - Gatos pretos dão mais sorte que gatos brancos.
Doc 2 - Meus gatos dão muito trabalho.
gatos pretos dão mais sorte que brancos meus trabalho muito
0 0.3 0.3 0.3 0.3 0.3 0.3 0 0 0
0 0 0.3 0 0 0 0 0.3 0.3 0.3

26. Matrizes de palavras
● TF-IDF (Term Frequency Inverse Document Frequency)

27. Matrizes de palavras
● TF-IDF (Term Frequency Inverse Document Frequency)
Vamos fazer a conta para a primeira frase:
tfidf(gatos) = 2 * log(2/2) = 0
tfidf(pretos) = 1 * log(2/1) = 0.30

28. Word Cloud

29. Qual nosso problema?
Vamos usar o dataset do 20newsGroup*
Queremos que dado um certo texto sejamos capazes de dizer em qual categoria
ele será inserido.
*https://archive.ics.uci.edu/ml/datasets/Twenty+Newsgroups

30. Depois de tanta teoria...
Vamos ver um pouco de código!
bit.ly/2sVNbtg

31. Mas pra que eu
vou usar tudo
isso?

32. E depois de todo esse
pré-processamento?
Agora começa a análise de dados!
Agrupamento, classificação, visualização, etc.

33. Muito Obrigada
:)

34. Bárbara Barbosa
Twitter: @bahbbc
Email: barbarab.claudino@gmail.com
LinkedIn: https://br.linkedin.com/in/bahbbc
Dúvidas?