O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Lidando com dados de financiamento de campanha em SQL

63 visualizações

Publicada em

Oficina realizada no CODA.BR 2017 por Adriano Belisário

Publicada em: Educação
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Lidando com dados de financiamento de campanha em SQL

  1. 1. Explorando dados de financiamento de campanhas com SQL Coda.br - Escola de Dados Adriano Belis�rio @belisards adrianobf@gmail.com
  2. 2. Um pouco de hist�ria (e links)... - - Campanha 'Quem s�o os propriet�rios do Brasil?' http://proprietariosdobrasil.org.br/) - Investiga��o para a Ag�ncia P�blica sobre carteliza��o em grandes empreiteiras e financiamento de campanha: http://apublica.org/2014/06/um-jogo-para-poucos/ && https://apublica.org/2014/06/as-quatro-irmas/ - Reposit�rios organizados por Rafael Polo: https://mostre.me/ && https://mostre.me/eleicoes && https://github.com/rafapolo/tribuna - Cruzamento autom�tico para identificar doa��es da Odebrecht para o grupo Connectas/The Intercept: http://github.com/belisards/match-tse-odb/ && https://theintercept.com/staff/adriano-belisario/
  3. 3. Alguns conceitos... - Partidos, comit�s e candidatos: possuem presta��es de contas distintas. Comit�s s�o organizados de acordo com o cargo que se disputa. J� a Dire��o dos Partidos divide-se pelos tr�s n�veis da federa��o. - Doa��es estimada: presta��o de servi�os cujos valores s�o contabilizados como receita pela presta��o de contas. - Doa��o direta/indireta: uma pr�tica comum era a empresa doar para um partido que ent�o repassava este recurso aos candidatos. a partir de 2014, surge o campo de 'Doador Origin�rio' que vincula este recurso repassado pelo partido � empresa/pessoa fonte do dinheiro. - Doa��es empresariais: proibidas desde a elei��o de 2016. Pessoas poderiam doar at� 10% do rendimento. - Novas regras futuras: A partir de 2018, o limite de doa��o de pessoa f�sica para cada cargo ou chapa ser� de 10 sal�rios m�nimos. Autofinanciamento em debate. Financiamento coletivo. Limite de gastos.
  4. 4. Quais dados s�o estes? - Os dados brutos das receitas das campanhas eleitorais s�o disponibilizadas pelo Tribunal Superior Eleitoral (TSE) em seu Reposit�rio de Dados Eleitorais: http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/repositorio-de-dados- eleitorais-1/repositorio-de-dados-eleitorais - Baseado na autodeclara��o das receitas de campanhas oficiais: muitas vezes, � a "ponta do iceberg". Dados oficiais, mas inconsistentes ou mesmo ausentes. - Podem ser atualizados retroativamento por meio de retifica��es solicitadas pelos candidatos e partidos, que depois de aceitas pelo TSE atualizam o Reposit�rio de Dados. - Dividido por elei��es de 2002 e 2016. De 1994 e 1998, quando n�o havia sistema eletr�nico, h� dados transcritos pelo prof. norte-americano David Samuels, que foram tratados pelo pesquisador Bruno Carazza: http://leisenumeros.com.br/2016/06/dados-sobre-financiamento-de- campanhas-eleitorais-producao-legislativa-e-comportamento-parlamentar/
  5. 5. Mais sobre o banco de dados.... - Nem o TSE tinha.... - Re�ne informa��es de 2002 a 2016 de todas presta��es de contas j� registradas no TSE - Cerca de 26gb de dados brutos. Dump final compactado tem aprox. 600mb - Script de importa��o audit�vel e aberto: ele automaticamente baixa, descompacta, limpa e importa todas planilhas em um banco de dados SQL - 1 tabela (doacoes) por ora. Abstra��o dos doadores e candidatos da tabela de doa��o em fase avan�ada - Colaboradores s�o bem vindos!
  6. 6. Quais dados s�o estes? Os campos da presta��o de contas variam de ano a ano. Para unificar a presta��o de contas de todas elei��es, era preciso ent�o unificar os campos comuns em um esquema, que inclu�sse tamb�m as particularidades relevantes de cada elei��o.
  7. 7. Quais campos s�o estes? id= ID �nica da doa��o no banco uf= Estado cpf = CPF e CNPJ numero=n. da candidatura doador_original=a partir de 2014, revela origem das doa��es indiretas fonte=origem do recurso; recurso=Estimado, financeiro, cheque, etc; data=dia da doa��o motivo= despesa atrelada; valor=em R$, n�o atualizado valor_at = valor atualizado pelo IPCA; tipo= partido/comite/candidato
  8. 8. Total de doa��es de acordo com campo 'fonte'
  9. 9. Total de doa��es de acordo com campo 'recurso'
  10. 10. Fazendo perguntas em SQL Termos b�sicos SELECT = defina separado por v�rgulas quais ser�o os campos consultados FROM = define a tabela onde ser� a feita consulta. no nosso caso, "doa��es" WHERE = define condi��es para a consulta, com operadores como AND e OR GROUP by = defina o agrupamento das colunas. necess�rio para realizar somas, por exemplo ORDER by = ordena os resultados de modo ascendente (ASC) ou descendente (DESC) LIMIT = limitar a quantidade de resultados;
  11. 11. Fazendo perguntas em SQL Alguns operadores para incrementar as buscas SUM(): soma AVG(): m�dia LENGTH(): quantidade caracteres de um campo; COUNT(): quantidade de resultados de um grupo; MIN()/MAX(): valores m�nimos/m�ximos de um grupo;
  12. 12. Fazendo (e melhorando) perguntas em SQL
  13. 13. Buscando candidatos
  14. 14. Buscando empresas e filiais - A mesma empresa pode ter v�rios CNPJs: as filiais de uma mesma empresa- matriz possuem um prefixo comum de oito d�gito (tudo antes da barra): XX.XXX.XXX/YYYY-ZZ - O nome da empresa pode estar grafado de forma incorreta. Vale a pena consultar considerando poss�veis varia��es nos nomes, inclusive foneticamente; - A utiliza��o de curingas nos ajuda a contornar estes problemas nas consultas; - Busque sempre utilizar curingas quando procurar por nomes e posicione-os estrategicamente - Em 2014 e 2016, considerar tamb�m o campo "doador_original" e "cpf_doador_original"
  15. 15. Buscando empresas e filiais
  16. 16. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  17. 17. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  18. 18. Tabelas novas
  19. 19. BANCO DE DADOS | | TABELA 1 ---- TABELA 2 --- TABELA 3 | | VIEW A
  20. 20. Atualizando valores - Para analisar a evolu��o temporal de doa��es em uma s�rie hist�rica, � �til corrigir os valores. Isto porque o valor de - por exemplo - R$ 1 milh�o doado em 2002 n�o tem o mesmo "peso" que R$ 1 milh�o em 2017. - Calculamos a m�dia da infla��o por ano pelo IPCA e criamos um campo novo para ter o valor atualizado, al�m do valor original (ref. setembro de 2017) :
  21. 21. Cruzando listas Passo a passo: - Listar a raz�o social de empresas, candidatos, doadores, CPFs e etc, em planilhas. - Carregar estas tabelas no SQL e com JOIN cruzar com as doa��es registradas, incluindo filiais - Deletar falsos positivos; - Exportar e analisar os resultados Script de exemplo: http://github.com/belisards/match-tse-odb/

×