Palestra feita na PGConf Brasil 2019.

1. MINERAÇÃO DE
DADOS TEXTUAIS
COM POSTGRESQL
Raissa Menezes Korehisa
São Paulo - SP

2. • Raissa da Silva de Menezes Korehisa
• De PortoVelho - RO
• Graduada em Sistemas de Informação (2010);
• Especialista em Geoprocessamento (2012);
• Atua na área de Bancos de Dados (Postgres e SQL Server);
• Se aventurando em águas misteriosas do Data Science.

3. ROADMAP
• Etapas do Data Mining;
• Técnicas:
• Coletor / Persistência /
Consultas / FTS / Indexação ...
• Análise Exploratória

4. ETAPAS DA MINERAÇÃO DE DADOS
Coleta
Análise
Armazenamento
Pré -
processamento

5. FERRAMENTAS
Designed by www.slon.pics / Freepik
Fonte de dados: API doTwitter
Coleta | Análises
Armazenamento |Pré - processamento | Análises

6. COLETA

9. PRÉ - PROCESSAMENTO
• Selecionar dados potencialmente importantes;
• Aplicar padronização:
• Tokenização;
• Remoção de stop words;
• Busca textual.

10. JSONB
TSVECTOR TSQUERY
• Armazenamento de
JSON válido
• Provê consultas nos
documentos sem dor
nem sofrimento
• Lista de lexemas para
agrupar variantes da
mesma palavra
• Remove duplicações;
• Retorna lexema e
sua posição
• Armazena lexemas a
serem pesquisados
dentro do tsvector

11. id
text
hastags
retweets_count
followers_count
DADOS POTENCIALMENTE
IMPORTANTES

13. INDEX

15. HASHTAGS

16. CRIANDO UMA NUVEM DE
PALAVRAS LEXEMAS NO PYTHON

20. OBRIGADA!
raissamennezes@gmail.com
raissa_menezes
/raissamennezes
/raissamenezes