Slides da palestra ministrada durante o Fórum Goiano de Software Livre, em 19 de novembro de 2016, Goiânia/GO. Slides em HTML: http://turicas.info/slides/rows/fgsl/ Contatos: - https://twitter.com/turicas - https://youtube.com/c/PythonicCafe

1. Libertando Dados Públicos
com Ferramentas Livres
Turicas aka Álvaro Justen
Fórum Goiano de Software Livre 2016
19 de novembro de 2016 - Goiânia/GO

2. Turicas, prazer! =)
Sigam-me os bons:
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info

3. bit.ly/rows-fgsl

4. Software Livre

5. Python

6. Arduino

7. cursodearduino.com.br

9. pythonquito.tk

10. pythonic.cafe
(preenche o formulário lá!)
youtube.com/c/PythonicCafe

11. generonumero.media

12. escoladedados.org

14. E vocês?Quem trabalhacom conversão de dados?
Scraping, datascience, ...
Quem conhece/usaPython?

15. Nômade Digital

16. A Jornada
Existem softwares livres paraautomatizar várias etapas da
jornada.

18. Dados Presos

19. Dado aberto, porém não
acessível

20. O Que Eu Já Fiz
(manualmente)

21. O Que Eu Quero
(semi-automaticamente)

22. O Que Tenho Que Fazer
(mas não queria ter que fazer)

23. Obtendo...

24. Veri cando...

25. Limpando...

26. Automatizar tudo que for chato

27. Problema Especí co
Dados Tabulares
Colunas (nome e tipo)
Registros (valores)

28. Dados Tabulares
Formatos Possíveis
CSV
HTML ("table")
JSON
ODS
SQLite
XLS
XLSX
...

29. Exemplo: CSV

30. csv em Python
import csv
reader = csv.DictReader(open('tesouro-direto.csv'))
# TODO: identificar dialecto CSV
for row in reader:
print row # todo es string =/
# TODO: crear conversión de datetime
# TODO: crear conversión de date
# TODO: crear conversión decimal
# TODO: crear conversión percent

31. JSON

32. json em Python
import json
reader = json.load(open('tesouro-direto.csv'))
for row in reader:
print row # nem todo convertido =/
# TODO: crear conversión de datetime
# TODO: crear conversión de date
# TODO: crear conversión decimal
# TODO: crear conversión percent

33. XLS

34. xls em Python + xlrd
pip install xlrd
import xlrd
filename = 'tesouro-direto.xls'
book = xlrd.open_workbook(filename, formatting_info=True)
sheet = book.sheet_by_index(0)
NUMERO_DE_COLUNAS = 7 # WTF?
header = [sheet.cell(0, col).value for col in range(NUMERO_DE_COLUNAS
NUMERO_DE_LINEAS = 19 # WTF?
data = [[sheet.cell(row, col).value for col in range(NUMERO_DE_COLUNAS
for row in range(1, NUMERO_DE_LINEAS + 1)]
for row_data in data:
row = dict(zip(header, row_data))
print row
# TODO: crear conversión de date y datetime
# TODO: crear conversión de decimal
# TODO: crear conversión de percent

35. Resultado...{u'preco_compra': 0.0, u'timestamp': 42314.73819444444, u'vencimento'

36. Que porraé essa?
..., u'timestamp': 42314.73819444444, ...

37. Vida Real..."Me mandaram o CSV, mas veio sem o cabeçalho"
"Esse campo não estábatendo"
"Porque tem tanto NULL?"
...

38. Problemas
Formatos não possuem as mesmas funcionalidades
Faltacontrole de qualidade nahorade publicar os dados
Bibliotecas paracadaformato são muito diferentes

39. Resultado:
Perda de tempo em uma atividade que não
é seu objetivo

40. rows to the rescue!
pip install rows # Python Package Index
apt-get install rows # Debian
dnf install rows # Fedora
github.com/turicas/rows

41. rows
BibliotecaPython
Command-Line Interface
Plugins:
CSV
JSON
HTML (+ XPath)
TXT
XLS
XLSX
SQLite
ODS
Parquet
(+ outros em desenvolvimento)

42. csv com Python + rows
import rows
table1 = rows.import_from_csv('tesouro-direto.csv')
for row in table1:
print row

43. Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43),
titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)',
vencimento=datetime.date(2017, 5, 15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
# namedtuple #FTW o/

44. xls com Python + rows
import rows
table2 = rows.import_from_xls('tesouro-direto.xls')
for row in table2:
print row

45. html com Python + rows
import rows
table3 = rows.import_from_html('tesouro-direto.html')
for row in table3:
print row

46. import rows

47. rows: Funcionalidades
Interface única(não importao formato)
Escrever é tão fácilquanto ler (pythonic way)
Vários plugins
CLI
Conversão automática de dados
Eujá z os testes

48. Command-Line Interface
print: mostraatabelaem formato texto
convert: converte entre os formatos suportados
sum: agregatabelas
join: cruzadados
query: SQL!

49. Live coding (CLI)

50. Alguns Casos de Uso
CLI:
Download, conversão e limpeza
Análises preliminares
Biblioteca:
Conversão e limpeza(exemplo: Interlegis)
Conversão e análise (exemplos: sci , sl_talks)

51. github.com/turicas/rows

52. Curso de Python Online e
Gratuito!
pythonic.cafe

53. ?

54. Obrigado! (:
Turicas aka Álvaro Justen
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info
bit.ly/rows-fgsl