Big Data antes da análise: preparação, aquisição e limpeza de dados
Quando se pensa em análise de dados, as primeiras coisas que veem à cabeça são os sistemas distribuídos e os algoritmos usados para processá-los. Mas as coisas são bem mais complicadas (e menos glamourosas) no dia a dia do cientista de dados. Na maioria das vezes os dados nem estão disponíveis no início da análise, e quando chegam às nossas mãos, costumam apresentar todo tipo de problemas: inconsistências, valores inesperados, formato inadequado etc. Assim, antes de iniciar qualquer análise, os dados precisam ser encontrados e preparados. Esta apresentação mostra os problemas mais comuns encontrados no dia-a-dia do cientista de dados e as técnicas e ferramentas usadas para resolvê-los. O foco é na "média escala", dados não tão grandes que precisem de um sistema distribuído, mas não tão pequenos que possam ser tratados manualmente. Será mostrado como tratar dados com as ferramentas disponíveis em sistemas Unix/Linux além de outras mais específicas; técnicas para ETL (extract-transform-load) e validação de dados; e como encaixar essa etapa no pipeline de dados de uma organização.
Recomendados
Mais conteúdo relacionado
Semelhante a Big Data antes da análise: preparação, aquisição e limpeza de dados
Semelhante a Big Data antes da análise: preparação, aquisição e limpeza de dados (20)
Big Data antes da análise: preparação, aquisição e limpeza de dados
- 1. Big Data antes da análise: preparação, aquisição e limpeza de dados ! Mauricio De Diana mauricio@ahalogy.com
- 3. Exploração
- 5. DB de produção: 100s GBs Bases de dados públicas: 100s MBs Logs: 100s MBs / dia 1 servidor, Shell, Python, R, SQL Tamanho
- 7. Shell
- 11. separador linha em branco aspas cabeçalho
- 15. Estatística descritiva Média, mediana, moda Distribuição, histograma Outliers
- 16. Transform
- 17. acentuação separador formato grafia linha em branco aspas cabeçalho
- 18. Normalização Maiúsculas / minúsculas Acentuação Abreviações Grafia Raiz Representações: data / hora, números
- 19. Encoding: UTF-8, ISO-8859-1 Valores especiais: nulo, vazio Caracteres inválidos Stop words Agregações (GROUP BY): média, somatório Largura fixa, JSON, HTML para CSV Mais transformações
- 20. Estrutura
- 21. Sanity check Comece pequeno: 1, 10, 100, 1k, … Comece com subconjunto dos dados Tamanho do arquivo Cabeçalho, primeiras e últimas linhas Número de linhas Valores categóricos (cut | sort -u) Valores especiais
- 22. Datasets maiores, ganhos rápidos Complexidade: estruturas de controle e de dados Libs nativas Hacks / configurações 20 CPUs, 20 partes de CSV, 20 processos for i in {0..19}; do python mesmo-script.py parte-$i.csv; done
- 23. Eventos Agregações periódicas ! Recomendadores: SQL + MapReduce (Pig)
- 25. Redshift Distribuído Familiaridade: SQL Baseado em PostgreSQL: mesmos drivers JOIN
- 26. pg fs s3 redshift s3 emr
- 27. pg fs s3 redshift s3 emr
- 29. Lições Explícito: evite SELECT * Schema o mais similar possível DISTKEY / SORTKEY MAXERROR Rails: created_at / updated_at
- 30. Mais análises Mais recomendadores Mais dados Produção
- 33. pg fs s3 redshift s3 emr s3 fs redis Depois da análise