Turicas apresenta a biblioteca rows para Python, que facilita a importação e normalização de dados tabulares de diferentes formatos como CSV, HTML e XLS em uma única API. Com rows, os dados são automaticamente convertidos para os tipos corretos como datetime e decimal, e podem ser facilmente exportados de volta aos mesmos ou diferentes formatos. A biblioteca também inclui funcionalidades como interface de linha de comando e testes automatizados.

1. Dados Tabulares:
A Maneira Pythônica
Turicas aka Álvaro Justen
VIII Encontro PythOnRio
30 de abril de 2016, Elo Group - Rio, Brasil

2. Turicas, prazer! =)
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info

3. Quem sou eu?
Não tenho graduação
Não trabalho em empresa

4. Software Livre

5. Python

6. Arduino

7. CursoDeArduino.com.br

9. pythonquito.tk

10. E vocês?Quem jásabe Python?
Quem trabalhacom Python?

11. bit.ly/pyrio-rows

12. Jornalismo de
Dados1. Captura: buscar e baixar
2. Normalização: converter aum formato melhor (ex: HTML
paraCSV)
3. Análise: ver o que te serve
4. Visualização: mostrar pro mundo!

13. Jornalismo de
Dados [2]4. Visualização: cerejado bolo
3. Análise: desa ador
2. Normalização: chato pracaralho
1. Captura: chato, de vez em quando desa ador

14. Captura + Normalização

15. Normalizaçãopipuninstallbeaufitulsoup4
pipuninstalllxml
pipinstallrows

16. CSV

17. csv em Pythonimportcsv
reader=csv.DictReader(open('tesouro-direto.csv'))
#TODO:identificardialectoCSV
forrowinreader:
printrow #todoesstring=/
#TODO:crearconversióndedatetime
#TODO:crearconversióndedate
#TODO:crearconversióndecimal
#TODO:crearconversiónpercent

18. HTML

19. HTML

20. A vida não é tão fácil! :D

21. html em Python
+ lxmlpipinstalllxml
importlxml.etree
filename='tesouro-direto.html'
html=open(filename).read()
tree=lxml.etree.fromstring(html)
table=tree.xpath('//table')[0]
#...aburridoaburridoaburrido...
#tentativa
#error
#tentativa
#error
#error
#error

22. :-/
...

23. XLS

24. xls em Python + xlrd
pipinstallxlrd
importxlrd
filename='tesouro-direto.xls'
book=xlrd.open_workbook(filename,formatting_info=True)
sheet=book.sheet_by_index(0)
NUMERO_DE_COLUNAS=7#WTF?
header=[sheet.cell(0,col).valueforcolinrange(NUMERO_DE_COLUNAS
NUMERO_DE_LINEAS=19#WTF?
data=[[sheet.cell(row,col).valueforcolinrange(NUMERO_DE_COLUNAS
forrowinrange(1,NUMERO_DE_LINEAS+1)]
forrow_dataindata:
row=dict(zip(header,row_data))
printrow
#TODO:crearconversióndedateydatetime
#TODO:crearconversióndedecimal
#TODO:crearconversióndepercent

25. Resultado...{u'preco_compra':0.0,u'timestamp':42314.73819444444,u'vencimento'

26. Que porraé essa?
...,u'timestamp':42314.73819444444,...

27. Por que csv, lxml,
xlrd etc. são
ruins?Aprender sobre o formato (mesmo que você só queiraos
dados)
Aprender umabibliotecapor formato (APIs diferentes)
Converter os dados (nem sempre as bibliotecas convertem)
Testar as funções de conversão (você usaTDD, certo?)
Exemplos só de leitura(escritapode ser pior!)

28. rows to the
rescue!
pip install rows # Python Package Index
apt-get install rows # Debian!
dnf install rows # Fedora
github.com/turicas/rows

29. csv com Python + rows
importrows
table1=rows.import_from_csv('tesouro-direto.csv')
forrowintable1:
printrow

30. Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
...

31. xls com Python + rows
importrows
table2=rows.import_from_xls('tesouro-direto.xls')
forrowintable2:
printrow

32. Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
...

33. html com Python + rows
importrows
table3=rows.import_from_html('tesouro-direto.html')
forrowintable3:
printrow

34. Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
Row(timestamp=datetime.datetime(2015,11,6,17,43),titulo=u'Tesouro
...

35. assertlist(table1)==list(table2)==list(table3)

36. printtable1[0]
Row(timestamp=datetime.datetime(2015,11,6,17,43),
titulo=u'TesouroIPCA+comJurosSemestrais2017(NTNB)',
vencimento=datetime.date(2017,5,15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
#namedtuple#FTWo/

37. Funcionalidades
API única(não importao formato)
Escrever é tão fácilquanto ler (pythonic way)
CSV, HTML, XLS, XLSX, JSON, TXT, SQLite...
Conversão automática de dados
Command-line interface!o/
Eujá z os testes

39. Live codingBiblioteca
CLI

40. #ajudalucianoPython 3 (WIP)
Site/documentação (Sphinx)
rows as aservice (demo site)

41. #ajudaluciano
[2]
Outros Plugins
PDF(leitura)
ODS (escrita)
DBF
MongoDB
PostgreSQL (WIP)
MariaDB(WIP)
OFX (WIP)

42. That's it!

43. pythonnordeste.org
9 a11 de junho
Teresina/PI

44. sl.org.br
13 a16 de julho
Porto Alegre/RS

45. pythonsudeste.org
2 e 3 de setembro
Belo Horizonte/MG

46. pythonbrasil.org.br
13 a18 de outubro
Florianópolis/SC

47. Curso de Python Online e
Gratuito!
bit.ly/pyonline

48. ?

49. Obrigado! (:
Turicas aka Álvaro Justen
{ , , ,
}/turicas
twitter.com github.com youtube.com
slideshare.net
alvarojusten@gmail.com
turicas.info
bit.ly/pyrio-rows