SlideShare uma empresa Scribd logo
Explorando dados de
financiamento de campanhas
com SQL
Coda.br - Escola de Dados
Adriano Belisário
@belisards
adrianobf@gmail.com
Um pouco de história (e links)...
-
- Campanha 'Quem são os proprietários do Brasil?'
http://proprietariosdobrasil.org.br/)
- Investigação para a Agência Pública sobre cartelização em grandes empreiteiras
e financiamento de campanha:
http://apublica.org/2014/06/um-jogo-para-poucos/ &&
https://apublica.org/2014/06/as-quatro-irmas/
- Repositórios organizados por Rafael Polo: https://mostre.me/ &&
https://mostre.me/eleicoes && https://github.com/rafapolo/tribuna
- Cruzamento automático para identificar doações da Odebrecht para o grupo
Connectas/The Intercept: http://github.com/belisards/match-tse-odb/ &&
https://theintercept.com/staff/adriano-belisario/
Alguns conceitos...
- Partidos, comitês e candidatos: possuem prestações de contas distintas.
Comitês são organizados de acordo com o cargo que se disputa. Já a Direção dos
Partidos divide-se pelos três níveis da federação.
- Doações estimada: prestação de serviços cujos valores são contabilizados
como receita pela prestação de contas.
- Doação direta/indireta: uma prática comum era a empresa doar para um
partido que então repassava este recurso aos candidatos. a partir de 2014, surge
o campo de 'Doador Originário' que vincula este recurso repassado pelo partido à
empresa/pessoa fonte do dinheiro.
- Doações empresariais: proibidas desde a eleição de 2016. Pessoas poderiam
doar até 10% do rendimento.
- Novas regras futuras: A partir de 2018, o limite de doação de pessoa física
para cada cargo ou chapa será de 10 salários mínimos. Autofinanciamento em
debate. Financiamento coletivo. Limite de gastos.
Quais dados são estes?
- Os dados brutos das receitas das campanhas eleitorais são disponibilizadas
pelo Tribunal Superior Eleitoral (TSE) em seu Repositório de Dados Eleitorais:
http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/repositorio-de-dados-
eleitorais-1/repositorio-de-dados-eleitorais
- Baseado na autodeclaração das receitas de campanhas oficiais: muitas vezes,
é a "ponta do iceberg". Dados oficiais, mas inconsistentes ou mesmo ausentes.
- Podem ser atualizados retroativamento por meio de retificações solicitadas
pelos candidatos e partidos, que depois de aceitas pelo TSE atualizam o
Repositório de Dados.
- Dividido por eleições de 2002 e 2016. De 1994 e 1998, quando não havia
sistema eletrônico, há dados transcritos pelo prof. norte-americano David
Samuels, que foram tratados pelo pesquisador Bruno Carazza:
http://leisenumeros.com.br/2016/06/dados-sobre-financiamento-de-
campanhas-eleitorais-producao-legislativa-e-comportamento-parlamentar/
Mais sobre o banco de dados....
- Nem o TSE tinha....
- Reúne informações de 2002 a 2016 de todas prestações de contas já
registradas no TSE
- Cerca de 26gb de dados brutos. Dump final compactado tem aprox. 600mb
- Script de importação auditável e aberto: ele automaticamente baixa,
descompacta, limpa e importa todas planilhas em um banco de dados SQL
- 1 tabela (doacoes) por ora. Abstração dos doadores e candidatos da tabela de
doação em fase avançada
- Colaboradores são bem vindos!
Quais dados são estes?
Os campos da
prestação de contas
variam de ano a ano.
Para unificar a prestação
de contas de todas
eleições, era preciso
então unificar os campos
comuns em um esquema,
que incluísse também as
particularidades
relevantes de cada
eleição.
Quais campos são estes?
id= ID única da doação no
banco
uf= Estado
cpf = CPF e CNPJ
numero=n. da candidatura
doador_original=a partir
de 2014, revela origem
das doações indiretas
fonte=origem do recurso;
recurso=Estimado,
financeiro, cheque, etc;
data=dia da doação
motivo= despesa atrelada;
valor=em R$, não
atualizado
valor_at = valor atualizado
pelo IPCA;
tipo=
partido/comite/candidato
Total de doações de acordo com campo 'fonte'
Total de doações de acordo com campo 'recurso'
Fazendo perguntas em SQL
Termos básicos
SELECT = defina separado por vírgulas quais serão os campos consultados
FROM = define a tabela onde será a feita consulta. no nosso caso, "doações"
WHERE = define condições para a consulta, com operadores como AND e OR
GROUP by = defina o agrupamento das colunas. necessário para realizar somas,
por exemplo
ORDER by = ordena os resultados de modo ascendente (ASC) ou descendente
(DESC)
LIMIT = limitar a quantidade de resultados;
Fazendo perguntas em SQL
Alguns operadores para incrementar as buscas
SUM(): soma
AVG(): média
LENGTH(): quantidade caracteres de um campo;
COUNT(): quantidade de resultados de um grupo;
MIN()/MAX(): valores mínimos/máximos de um grupo;
Fazendo (e melhorando) perguntas em SQL
Buscando candidatos
Buscando empresas e filiais
- A mesma empresa pode ter vários CNPJs: as filiais de uma mesma empresa-
matriz possuem um prefixo comum de oito dígito (tudo antes da barra):
XX.XXX.XXX/YYYY-ZZ
- O nome da empresa pode estar grafado de forma incorreta. Vale a pena
consultar considerando possíveis variações nos nomes, inclusive foneticamente;
- A utilização de curingas nos ajuda a contornar estes problemas nas consultas;
- Busque sempre utilizar curingas quando procurar por nomes e posicione-os
estrategicamente
- Em 2014 e 2016, considerar também o campo "doador_original" e
"cpf_doador_original"
Buscando empresas e filiais
Tabelas virtuais
CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
Tabelas virtuais
CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
Tabelas novas
BANCO DE DADOS
|
|
TABELA 1 ---- TABELA 2 --- TABELA 3
|
|
VIEW A
Atualizando valores
- Para analisar a evolução temporal de doações em uma série histórica, é
útil corrigir os valores. Isto porque o valor de - por exemplo - R$ 1 milhão
doado em 2002 não tem o mesmo "peso" que R$ 1 milhão em 2017.
- Calculamos a média da inflação por ano pelo IPCA e criamos um campo
novo para ter o valor atualizado, além do valor original (ref. setembro de
2017) :
Cruzando listas
Passo a passo:
- Listar a razão social de empresas, candidatos, doadores, CPFs e etc, em
planilhas.
- Carregar estas tabelas no SQL e com JOIN cruzar com as doações
registradas, incluindo filiais
- Deletar falsos positivos;
- Exportar e analisar os resultados
Script de exemplo: http://github.com/belisards/match-tse-odb/

Mais conteúdo relacionado

Semelhante a Lidando com dados de financiamento de campanha em SQL

Workshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big DataWorkshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big Data
Marco Antonio Filgueiras Guimarães
 
Information retrieval
Information retrievalInformation retrieval
Information retrieval
Mr. Hilquias da Silva de Almeida
 
Sistemas de Apoio à Decisão
Sistemas de Apoio à DecisãoSistemas de Apoio à Decisão
Sistemas de Apoio à Decisão
Rogério Fernandes da Costa
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
Denodo
 
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Claudio Martins
 
SAAS - Search as a Service 2017
SAAS - Search as a Service 2017SAAS - Search as a Service 2017
SAAS - Search as a Service 2017
Leandro Pereira Pinto
 
NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014
Camila Dias
 
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Claudio Martins
 
Analise Bay Area Bike Sharing
Analise Bay Area Bike SharingAnalise Bay Area Bike Sharing
Analise Bay Area Bike Sharing
Thiago Leite Rodrigues
 
Hackathon UOL
Hackathon  UOL Hackathon  UOL
Hackathon UOL
Regina Cantele
 
Power BI Essencial - Professor Felype Souza
Power BI Essencial - Professor Felype SouzaPower BI Essencial - Professor Felype Souza
Power BI Essencial - Professor Felype Souza
sigmacursoseconsulto
 
Aula Data Mining
Aula Data MiningAula Data Mining
Deck juntos 2021
Deck juntos 2021Deck juntos 2021
Deck juntos 2021
Renato Pacheco
 
Aplicações não convencionais de grafos
Aplicações não convencionais de grafosAplicações não convencionais de grafos
Aplicações não convencionais de grafos
pichiliani
 
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
Andre Deak
 
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
Thiago Rocha
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em Governo
Sérgio Dias
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDC
Renan Moreira de Oliveira
 
Como começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User ExperienceComo começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User Experience
Welliton Oliveira
 
SEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de SitesSEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de Sites
Everaldo Wanderlei Uavniczak
 

Semelhante a Lidando com dados de financiamento de campanha em SQL (20)

Workshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big DataWorkshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big Data
 
Information retrieval
Information retrievalInformation retrieval
Information retrieval
 
Sistemas de Apoio à Decisão
Sistemas de Apoio à DecisãoSistemas de Apoio à Decisão
Sistemas de Apoio à Decisão
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
 
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
 
SAAS - Search as a Service 2017
SAAS - Search as a Service 2017SAAS - Search as a Service 2017
SAAS - Search as a Service 2017
 
NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014
 
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
 
Analise Bay Area Bike Sharing
Analise Bay Area Bike SharingAnalise Bay Area Bike Sharing
Analise Bay Area Bike Sharing
 
Hackathon UOL
Hackathon  UOL Hackathon  UOL
Hackathon UOL
 
Power BI Essencial - Professor Felype Souza
Power BI Essencial - Professor Felype SouzaPower BI Essencial - Professor Felype Souza
Power BI Essencial - Professor Felype Souza
 
Aula Data Mining
Aula Data MiningAula Data Mining
Aula Data Mining
 
Deck juntos 2021
Deck juntos 2021Deck juntos 2021
Deck juntos 2021
 
Aplicações não convencionais de grafos
Aplicações não convencionais de grafosAplicações não convencionais de grafos
Aplicações não convencionais de grafos
 
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
 
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em Governo
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDC
 
Como começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User ExperienceComo começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User Experience
 
SEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de SitesSEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de Sites
 

Último

- TEMPLATE DA PRATICA - Psicomotricidade.pptx
- TEMPLATE DA PRATICA - Psicomotricidade.pptx- TEMPLATE DA PRATICA - Psicomotricidade.pptx
- TEMPLATE DA PRATICA - Psicomotricidade.pptx
LucianaCristina58
 
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptxSlides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
Redação e Leitura_7º ano_58_Produção de cordel .pptx
Redação e Leitura_7º ano_58_Produção de cordel .pptxRedação e Leitura_7º ano_58_Produção de cordel .pptx
Redação e Leitura_7º ano_58_Produção de cordel .pptx
DECIOMAURINARAMOS
 
Dicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de cursoDicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de curso
Simone399395
 
Fernão Lopes. pptx
Fernão Lopes.                       pptxFernão Lopes.                       pptx
Fernão Lopes. pptx
TomasSousa7
 
Pintura Romana .pptx
Pintura Romana                     .pptxPintura Romana                     .pptx
Pintura Romana .pptx
TomasSousa7
 
REGULAMENTO DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
REGULAMENTO  DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...REGULAMENTO  DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
REGULAMENTO DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
Eró Cunha
 
Reino-Vegetal plantas e demais conceitos .pptx
Reino-Vegetal plantas e demais conceitos .pptxReino-Vegetal plantas e demais conceitos .pptx
Reino-Vegetal plantas e demais conceitos .pptx
CarinaSantos916505
 
epidemias endemia-pandemia-e-epidemia (1).ppt
epidemias endemia-pandemia-e-epidemia (1).pptepidemias endemia-pandemia-e-epidemia (1).ppt
epidemias endemia-pandemia-e-epidemia (1).ppt
MarceloMonteiro213738
 
cronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdfcronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdf
todorokillmepls
 
karl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vidakarl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vida
KleginaldoPaz2
 
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
YeniferGarcia36
 
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdfA QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
AurelianoFerreirades2
 
Aula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptxAula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptx
LILIANPRESTESSCUDELE
 
slides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentarslides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentar
JoeteCarvalho
 
D20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua PortuguesaD20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua Portuguesa
eaiprofpolly
 
Atividade letra da música - Espalhe Amor, Anavitória.
Atividade letra da música - Espalhe  Amor, Anavitória.Atividade letra da música - Espalhe  Amor, Anavitória.
Atividade letra da música - Espalhe Amor, Anavitória.
Mary Alvarenga
 
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
PatriciaZanoli
 
GÊNERO TEXTUAL - POEMA.pptx
GÊNERO      TEXTUAL     -     POEMA.pptxGÊNERO      TEXTUAL     -     POEMA.pptx
GÊNERO TEXTUAL - POEMA.pptx
Marlene Cunhada
 
UFCD_10949_Lojas e-commerce no-code_índice.pdf
UFCD_10949_Lojas e-commerce no-code_índice.pdfUFCD_10949_Lojas e-commerce no-code_índice.pdf
UFCD_10949_Lojas e-commerce no-code_índice.pdf
Manuais Formação
 

Último (20)

- TEMPLATE DA PRATICA - Psicomotricidade.pptx
- TEMPLATE DA PRATICA - Psicomotricidade.pptx- TEMPLATE DA PRATICA - Psicomotricidade.pptx
- TEMPLATE DA PRATICA - Psicomotricidade.pptx
 
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptxSlides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
 
Redação e Leitura_7º ano_58_Produção de cordel .pptx
Redação e Leitura_7º ano_58_Produção de cordel .pptxRedação e Leitura_7º ano_58_Produção de cordel .pptx
Redação e Leitura_7º ano_58_Produção de cordel .pptx
 
Dicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de cursoDicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de curso
 
Fernão Lopes. pptx
Fernão Lopes.                       pptxFernão Lopes.                       pptx
Fernão Lopes. pptx
 
Pintura Romana .pptx
Pintura Romana                     .pptxPintura Romana                     .pptx
Pintura Romana .pptx
 
REGULAMENTO DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
REGULAMENTO  DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...REGULAMENTO  DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
REGULAMENTO DO CONCURSO DESENHOS AFRO/2024 - 14ª edição - CEIRI /UREI (ficha...
 
Reino-Vegetal plantas e demais conceitos .pptx
Reino-Vegetal plantas e demais conceitos .pptxReino-Vegetal plantas e demais conceitos .pptx
Reino-Vegetal plantas e demais conceitos .pptx
 
epidemias endemia-pandemia-e-epidemia (1).ppt
epidemias endemia-pandemia-e-epidemia (1).pptepidemias endemia-pandemia-e-epidemia (1).ppt
epidemias endemia-pandemia-e-epidemia (1).ppt
 
cronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdfcronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdf
 
karl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vidakarl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vida
 
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
 
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdfA QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
 
Aula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptxAula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptx
 
slides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentarslides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentar
 
D20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua PortuguesaD20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua Portuguesa
 
Atividade letra da música - Espalhe Amor, Anavitória.
Atividade letra da música - Espalhe  Amor, Anavitória.Atividade letra da música - Espalhe  Amor, Anavitória.
Atividade letra da música - Espalhe Amor, Anavitória.
 
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
2020_09_17 - Biomas Mundiais [Salvo automaticamente].pptx
 
GÊNERO TEXTUAL - POEMA.pptx
GÊNERO      TEXTUAL     -     POEMA.pptxGÊNERO      TEXTUAL     -     POEMA.pptx
GÊNERO TEXTUAL - POEMA.pptx
 
UFCD_10949_Lojas e-commerce no-code_índice.pdf
UFCD_10949_Lojas e-commerce no-code_índice.pdfUFCD_10949_Lojas e-commerce no-code_índice.pdf
UFCD_10949_Lojas e-commerce no-code_índice.pdf
 

Lidando com dados de financiamento de campanha em SQL

  • 1. Explorando dados de financiamento de campanhas com SQL Coda.br - Escola de Dados Adriano Belisário @belisards adrianobf@gmail.com
  • 2. Um pouco de história (e links)... - - Campanha 'Quem são os proprietários do Brasil?' http://proprietariosdobrasil.org.br/) - Investigação para a Agência Pública sobre cartelização em grandes empreiteiras e financiamento de campanha: http://apublica.org/2014/06/um-jogo-para-poucos/ && https://apublica.org/2014/06/as-quatro-irmas/ - Repositórios organizados por Rafael Polo: https://mostre.me/ && https://mostre.me/eleicoes && https://github.com/rafapolo/tribuna - Cruzamento automático para identificar doações da Odebrecht para o grupo Connectas/The Intercept: http://github.com/belisards/match-tse-odb/ && https://theintercept.com/staff/adriano-belisario/
  • 3. Alguns conceitos... - Partidos, comitês e candidatos: possuem prestações de contas distintas. Comitês são organizados de acordo com o cargo que se disputa. Já a Direção dos Partidos divide-se pelos três níveis da federação. - Doações estimada: prestação de serviços cujos valores são contabilizados como receita pela prestação de contas. - Doação direta/indireta: uma prática comum era a empresa doar para um partido que então repassava este recurso aos candidatos. a partir de 2014, surge o campo de 'Doador Originário' que vincula este recurso repassado pelo partido à empresa/pessoa fonte do dinheiro. - Doações empresariais: proibidas desde a eleição de 2016. Pessoas poderiam doar até 10% do rendimento. - Novas regras futuras: A partir de 2018, o limite de doação de pessoa física para cada cargo ou chapa será de 10 salários mínimos. Autofinanciamento em debate. Financiamento coletivo. Limite de gastos.
  • 4. Quais dados são estes? - Os dados brutos das receitas das campanhas eleitorais são disponibilizadas pelo Tribunal Superior Eleitoral (TSE) em seu Repositório de Dados Eleitorais: http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/repositorio-de-dados- eleitorais-1/repositorio-de-dados-eleitorais - Baseado na autodeclaração das receitas de campanhas oficiais: muitas vezes, é a "ponta do iceberg". Dados oficiais, mas inconsistentes ou mesmo ausentes. - Podem ser atualizados retroativamento por meio de retificações solicitadas pelos candidatos e partidos, que depois de aceitas pelo TSE atualizam o Repositório de Dados. - Dividido por eleições de 2002 e 2016. De 1994 e 1998, quando não havia sistema eletrônico, há dados transcritos pelo prof. norte-americano David Samuels, que foram tratados pelo pesquisador Bruno Carazza: http://leisenumeros.com.br/2016/06/dados-sobre-financiamento-de- campanhas-eleitorais-producao-legislativa-e-comportamento-parlamentar/
  • 5. Mais sobre o banco de dados.... - Nem o TSE tinha.... - Reúne informações de 2002 a 2016 de todas prestações de contas já registradas no TSE - Cerca de 26gb de dados brutos. Dump final compactado tem aprox. 600mb - Script de importação auditável e aberto: ele automaticamente baixa, descompacta, limpa e importa todas planilhas em um banco de dados SQL - 1 tabela (doacoes) por ora. Abstração dos doadores e candidatos da tabela de doação em fase avançada - Colaboradores são bem vindos!
  • 6. Quais dados são estes? Os campos da prestação de contas variam de ano a ano. Para unificar a prestação de contas de todas eleições, era preciso então unificar os campos comuns em um esquema, que incluísse também as particularidades relevantes de cada eleição.
  • 7. Quais campos são estes? id= ID única da doação no banco uf= Estado cpf = CPF e CNPJ numero=n. da candidatura doador_original=a partir de 2014, revela origem das doações indiretas fonte=origem do recurso; recurso=Estimado, financeiro, cheque, etc; data=dia da doação motivo= despesa atrelada; valor=em R$, não atualizado valor_at = valor atualizado pelo IPCA; tipo= partido/comite/candidato
  • 8. Total de doações de acordo com campo 'fonte'
  • 9. Total de doações de acordo com campo 'recurso'
  • 10. Fazendo perguntas em SQL Termos básicos SELECT = defina separado por vírgulas quais serão os campos consultados FROM = define a tabela onde será a feita consulta. no nosso caso, "doações" WHERE = define condições para a consulta, com operadores como AND e OR GROUP by = defina o agrupamento das colunas. necessário para realizar somas, por exemplo ORDER by = ordena os resultados de modo ascendente (ASC) ou descendente (DESC) LIMIT = limitar a quantidade de resultados;
  • 11. Fazendo perguntas em SQL Alguns operadores para incrementar as buscas SUM(): soma AVG(): média LENGTH(): quantidade caracteres de um campo; COUNT(): quantidade de resultados de um grupo; MIN()/MAX(): valores mínimos/máximos de um grupo;
  • 12. Fazendo (e melhorando) perguntas em SQL
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 20. Buscando empresas e filiais - A mesma empresa pode ter vários CNPJs: as filiais de uma mesma empresa- matriz possuem um prefixo comum de oito dígito (tudo antes da barra): XX.XXX.XXX/YYYY-ZZ - O nome da empresa pode estar grafado de forma incorreta. Vale a pena consultar considerando possíveis variações nos nomes, inclusive foneticamente; - A utilização de curingas nos ajuda a contornar estes problemas nas consultas; - Busque sempre utilizar curingas quando procurar por nomes e posicione-os estrategicamente - Em 2014 e 2016, considerar também o campo "doador_original" e "cpf_doador_original"
  • 22.
  • 23.
  • 24. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  • 25. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  • 27. BANCO DE DADOS | | TABELA 1 ---- TABELA 2 --- TABELA 3 | | VIEW A
  • 28. Atualizando valores - Para analisar a evolução temporal de doações em uma série histórica, é útil corrigir os valores. Isto porque o valor de - por exemplo - R$ 1 milhão doado em 2002 não tem o mesmo "peso" que R$ 1 milhão em 2017. - Calculamos a média da inflação por ano pelo IPCA e criamos um campo novo para ter o valor atualizado, além do valor original (ref. setembro de 2017) :
  • 29. Cruzando listas Passo a passo: - Listar a razão social de empresas, candidatos, doadores, CPFs e etc, em planilhas. - Carregar estas tabelas no SQL e com JOIN cruzar com as doações registradas, incluindo filiais - Deletar falsos positivos; - Exportar e analisar os resultados Script de exemplo: http://github.com/belisards/match-tse-odb/