SlideShare uma empresa Scribd logo
1 de 55
Baixar para ler offline
Liberando Dados Com Um
Comando
Turicas aka Álvaro Justen
17° Fórum Internacional de Software Livre
(meu 10º FISL! o/)
15 de julho de 2016 - Porto Alegre/RS
bit.ly/turicas- sl17
Turicas, prazer! =)
Sigam-me os bons:
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info
Nômade Digital
cursodearduino.com.br
pythonic.cafe
generonumero.media
escoladedados.org
Software Livre
Python
Arduino
pythonquito.tk
E vocês?Quem trabalhacom conversão de dados, scraping, datascience,
...?
Quem conhece/usaPython?
A Jornada
Dados Presos
Dado aberto, porém não
acessível
O Que Eu Já Fiz
O Que Eu Quero
O Que Tenho Que Fazer
Obtendo...
Veri cando...
Limpando...
E Se Fosse CSV?
JSON
XLS, XLSX
rows to the rescue!
pip install rows # Python Package Index
apt-get install rows # Debian
dnf install rows # Fedora
github.com/turicas/rows
rows
BibliotecaPython
Command-Line Interface
Plugins:
CSV
JSON
HTML (+ XPath)
TXT
XLS
XLSX
SQLite
ODS
Parquet
(+ outros em desenvolvimento)
csv com Python + rows
importrows
table1=rows.import_from_csv('tesouro-direto.csv')
forrowintable1:
printrow
Row(timestamp=datetime.datetime(2015,11,6,17,43),
titulo=u'TesouroIPCA+comJurosSemestrais2017(NTNB)',
vencimento=datetime.date(2017,5,15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
#namedtuple#FTWo/
xls com Python + rows
importrows
table2=rows.import_from_xls('tesouro-direto.xls')
forrowintable2:
printrow
html com Python + rows
importrows
table3=rows.import_from_html('tesouro-direto.html')
forrowintable3:
printrow
import rows
rows: Funcionalidades
Interface única(não importao formato)
Escrever é tão fácilquanto ler (pythonic way)
Vários plugins
CLI
Conversão automática de dados
Eujá z os testes
Test-driven development
Semantic versioning
Command-Line Interface
print: mostraatabelaem formato texto
convert: converte entre os formatos suportados
sum: agregatabelas
join: cruzadados
query: SQL!
Live coding (CLI)
Alguns Casos de Uso
CLI:
Download, conversão e limpeza
Análises preliminares
Biblioteca:
Conversão e limpeza(exemplo: Interlegis)
Conversão e análise (exemplos: sci , sl_talks)
Qual o pior melhor formato?
specs (beta)row
Colaboradores
github.com/turicas/rows
# kdik
latinoware.org
19 a21 de outubro
Foz do Iguaçu/PR
pythonsudeste.org
2 e 3 de setembro
Belo Horizonte/MG
pythonbrasil.org.br
13 a18 de outubro
Florianópolis/SC
Curso de Python Online e
Gratuito!
pythonic.cafe
Curso de Arduino em PoA!
cursodearduino.com.br/porto-alegre
19 a22 de julho de 2016,
CUPOM DE DESCONTO: FISL17
TransLAB
?
Obrigado! (:
Turicas aka Álvaro Justen
{ ,
,
,
,
}
/turicas
twitter
github
youtube
slideshare
instagram
alvaro@CursoDeArduino.com.br
turicas.info
bit.ly/turicas- sl17

Mais conteúdo relacionado

Mais procurados

Intro
IntroIntro
Intro
pugpe
 
Encontro da Comunidade Python Brasileira - FISL11
Encontro da Comunidade Python Brasileira - FISL11Encontro da Comunidade Python Brasileira - FISL11
Encontro da Comunidade Python Brasileira - FISL11
Dorneles Treméa
 

Mais procurados (20)

Hackeando Dados públicos com python
Hackeando Dados públicos com pythonHackeando Dados públicos com python
Hackeando Dados públicos com python
 
Intro
IntroIntro
Intro
 
Desenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando PythonDesenvolvimento de aplicações embarcadas utilizando Python
Desenvolvimento de aplicações embarcadas utilizando Python
 
Desvendando o python
Desvendando o pythonDesvendando o python
Desvendando o python
 
Apresentação Python Poli
Apresentação Python PoliApresentação Python Poli
Apresentação Python Poli
 
Python e tipagem estática
Python e tipagem estáticaPython e tipagem estática
Python e tipagem estática
 
Python Poli 2010
Python Poli 2010Python Poli 2010
Python Poli 2010
 
Python para iniciantes
Python para iniciantesPython para iniciantes
Python para iniciantes
 
Python, A pílula Azul da programação
Python, A pílula Azul da programaçãoPython, A pílula Azul da programação
Python, A pílula Azul da programação
 
Multirão Python - introdução ao py serial com gtk3 e arduino
Multirão Python - introdução ao py serial com gtk3 e arduinoMultirão Python - introdução ao py serial com gtk3 e arduino
Multirão Python - introdução ao py serial com gtk3 e arduino
 
Desbravando a web com python - Matheus Lima
Desbravando a web com python - Matheus LimaDesbravando a web com python - Matheus Lima
Desbravando a web com python - Matheus Lima
 
Canivete python
Canivete pythonCanivete python
Canivete python
 
Raspberry Pi: o hardware para Python
Raspberry Pi: o hardware para PythonRaspberry Pi: o hardware para Python
Raspberry Pi: o hardware para Python
 
Hello, Python!
Hello, Python!Hello, Python!
Hello, Python!
 
Encontro da Comunidade Python Brasileira - FISL11
Encontro da Comunidade Python Brasileira - FISL11Encontro da Comunidade Python Brasileira - FISL11
Encontro da Comunidade Python Brasileira - FISL11
 
Seja feliz programando em python
Seja feliz programando em pythonSeja feliz programando em python
Seja feliz programando em python
 
Diversão e lucro com raspberry pi
Diversão e lucro com raspberry piDiversão e lucro com raspberry pi
Diversão e lucro com raspberry pi
 
Porque python é legal! d
Porque python é legal!  dPorque python é legal!  d
Porque python é legal! d
 
Educação Tecnológica com Raspberry Pi
Educação Tecnológica com Raspberry PiEducação Tecnológica com Raspberry Pi
Educação Tecnológica com Raspberry Pi
 
Python e 10 motivos por que devo conhece-la ?
Python e 10 motivos por que devo conhece-la ?Python e 10 motivos por que devo conhece-la ?
Python e 10 motivos por que devo conhece-la ?
 

Destaque

Explorar o raspberry pi final
Explorar o raspberry pi finalExplorar o raspberry pi final
Explorar o raspberry pi final
whitspirit
 

Destaque (19)

ASP.NET Core, .NET Core e EF Core: multiplataforma e otimizados para a nuvem
ASP.NET Core, .NET Core e EF Core: multiplataforma e otimizados para a nuvemASP.NET Core, .NET Core e EF Core: multiplataforma e otimizados para a nuvem
ASP.NET Core, .NET Core e EF Core: multiplataforma e otimizados para a nuvem
 
[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônica[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônica
 
Introdução ao Arduino: ArduinoDay Rio 2015
Introdução ao Arduino: ArduinoDay Rio 2015Introdução ao Arduino: ArduinoDay Rio 2015
Introdução ao Arduino: ArduinoDay Rio 2015
 
Datos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera PythónicaDatos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera Pythónica
 
O mundo mágico do Trabalho Remoto
O mundo mágico do Trabalho RemotoO mundo mágico do Trabalho Remoto
O mundo mágico do Trabalho Remoto
 
Arduino (para fazedores)
Arduino (para fazedores)Arduino (para fazedores)
Arduino (para fazedores)
 
Raspberry pi – primeiros passos
Raspberry pi – primeiros passosRaspberry pi – primeiros passos
Raspberry pi – primeiros passos
 
Explorar o raspberry pi final
Explorar o raspberry pi finalExplorar o raspberry pi final
Explorar o raspberry pi final
 
Jurgis PRALGAUSKIS. Modernios programavimo mokymo(-si) aplinkos
Jurgis PRALGAUSKIS. Modernios programavimo mokymo(-si) aplinkos Jurgis PRALGAUSKIS. Modernios programavimo mokymo(-si) aplinkos
Jurgis PRALGAUSKIS. Modernios programavimo mokymo(-si) aplinkos
 
Química Geral Aula 11
Química Geral Aula 11Química Geral Aula 11
Química Geral Aula 11
 
eBook Home Office
eBook Home OfficeeBook Home Office
eBook Home Office
 
Palestra sobre Arduino e Raspberry Pi (Totvs)
Palestra sobre Arduino e Raspberry Pi (Totvs)Palestra sobre Arduino e Raspberry Pi (Totvs)
Palestra sobre Arduino e Raspberry Pi (Totvs)
 
Arduino: Robótica e Automação com Software e Hardware Livres
Arduino: Robótica e Automação com Software e Hardware LivresArduino: Robótica e Automação com Software e Hardware Livres
Arduino: Robótica e Automação com Software e Hardware Livres
 
Química Geral 2016/1 Aula 03
Química Geral 2016/1 Aula 03Química Geral 2016/1 Aula 03
Química Geral 2016/1 Aula 03
 
Introdução à Programação Python e Tk
Introdução à Programação Python e TkIntrodução à Programação Python e Tk
Introdução à Programação Python e Tk
 
Química Geral 2016/1 Aula 04
Química Geral 2016/1 Aula 04Química Geral 2016/1 Aula 04
Química Geral 2016/1 Aula 04
 
Python - Introdução
Python - IntroduçãoPython - Introdução
Python - Introdução
 
Raspberry-PI introduction
Raspberry-PI introductionRaspberry-PI introduction
Raspberry-PI introduction
 
Robótica: Introdução e Aplicações
Robótica: Introdução e AplicaçõesRobótica: Introdução e Aplicações
Robótica: Introdução e Aplicações
 

Semelhante a [FISL17] Liberando dados com um comando, por Álvaro Justen

Python e Django na Globo.com
Python e Django na Globo.comPython e Django na Globo.com
Python e Django na Globo.com
ricobl
 
Introdução ao Python - FTEC
Introdução ao Python - FTECIntrodução ao Python - FTEC
Introdução ao Python - FTEC
Dorneles Treméa
 

Semelhante a [FISL17] Liberando dados com um comando, por Álvaro Justen (20)

Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)
 
O canivete suiço de Python
O canivete suiço de PythonO canivete suiço de Python
O canivete suiço de Python
 
Python-Fenalivre-Imed
Python-Fenalivre-ImedPython-Fenalivre-Imed
Python-Fenalivre-Imed
 
Revista programar 51
Revista programar 51Revista programar 51
Revista programar 51
 
Programar 1215
Programar  1215Programar  1215
Programar 1215
 
O que podemos fazer com Python?
O que podemos fazer com Python?O que podemos fazer com Python?
O que podemos fazer com Python?
 
Python - o que, porque, como e quando
Python - o que, porque, como e quandoPython - o que, porque, como e quando
Python - o que, porque, como e quando
 
Dados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeitaDados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeita
 
The zen of python 2010
The zen of python 2010The zen of python 2010
The zen of python 2010
 
VIII CAFÉ e CODE - PROVOCAÇÕES do MESTRE
VIII CAFÉ e CODE - PROVOCAÇÕES do MESTREVIII CAFÉ e CODE - PROVOCAÇÕES do MESTRE
VIII CAFÉ e CODE - PROVOCAÇÕES do MESTRE
 
1ª Reunião - Apresentação da Comunidade NetPonto - C. Augusto Proiete
1ª Reunião - Apresentação da Comunidade NetPonto - C. Augusto Proiete1ª Reunião - Apresentação da Comunidade NetPonto - C. Augusto Proiete
1ª Reunião - Apresentação da Comunidade NetPonto - C. Augusto Proiete
 
Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisProjeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis
 
Python No Terra (2006-12-21)
Python No Terra  (2006-12-21)Python No Terra  (2006-12-21)
Python No Terra (2006-12-21)
 
Carreira em Desenvolvimento de Software
Carreira em Desenvolvimento de SoftwareCarreira em Desenvolvimento de Software
Carreira em Desenvolvimento de Software
 
Python Mini Ccurso Consegi2011
Python Mini Ccurso Consegi2011Python Mini Ccurso Consegi2011
Python Mini Ccurso Consegi2011
 
Conhencendo Python e por que ela importa?
Conhencendo Python e por que ela importa?Conhencendo Python e por que ela importa?
Conhencendo Python e por que ela importa?
 
Python e Django na Globo.com
Python e Django na Globo.comPython e Django na Globo.com
Python e Django na Globo.com
 
Workshop de IoT Campus Party Natal
Workshop de IoT Campus Party NatalWorkshop de IoT Campus Party Natal
Workshop de IoT Campus Party Natal
 
Introdução ao Python - FTEC
Introdução ao Python - FTECIntrodução ao Python - FTEC
Introdução ao Python - FTEC
 
Plone: O CMS da moda? - Consegi 2013
Plone: O CMS da moda? - Consegi 2013Plone: O CMS da moda? - Consegi 2013
Plone: O CMS da moda? - Consegi 2013
 

Mais de Álvaro Justen

Mais de Álvaro Justen (14)

Sobre os ombos de gigantes
Sobre os ombos de gigantesSobre os ombos de gigantes
Sobre os ombos de gigantes
 
A era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crençasA era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crenças
 
Realmente precisamos de big data?
Realmente precisamos de big data?Realmente precisamos de big data?
Realmente precisamos de big data?
 
Ciência de Dados na Linha de Comando
Ciência de Dados na Linha de ComandoCiência de Dados na Linha de Comando
Ciência de Dados na Linha de Comando
 
Brasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com PythonBrasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com Python
 
#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência Brasileira#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência Brasileira
 
Brasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais DemocraciaBrasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais Democracia
 
Dados abertos, direito autoral e democracia
Dados abertos, direito autoral e democraciaDados abertos, direito autoral e democracia
Dados abertos, direito autoral e democracia
 
Jornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no BrasilJornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no Brasil
 
Python no Jornalismo
Python no JornalismoPython no Jornalismo
Python no Jornalismo
 
Dados Abertos e Meio Ambiente
Dados Abertos e Meio AmbienteDados Abertos e Meio Ambiente
Dados Abertos e Meio Ambiente
 
Arduino no Dia-Debian/RJ 2011
Arduino no Dia-Debian/RJ 2011Arduino no Dia-Debian/RJ 2011
Arduino no Dia-Debian/RJ 2011
 
Arduino - Dicas & Truques
Arduino - Dicas & TruquesArduino - Dicas & Truques
Arduino - Dicas & Truques
 
Android e Arduino para automação residencial
Android e Arduino para automação residencialAndroid e Arduino para automação residencial
Android e Arduino para automação residencial
 

Último

Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Dirceu Resende
 

Último (6)

Apresentação Comercial VITAL DATA 2024.pdf
Apresentação Comercial VITAL DATA 2024.pdfApresentação Comercial VITAL DATA 2024.pdf
Apresentação Comercial VITAL DATA 2024.pdf
 
Concurso Caixa TI - Imersão Final - Rogério Araújo.pdf
Concurso Caixa TI - Imersão Final - Rogério Araújo.pdfConcurso Caixa TI - Imersão Final - Rogério Araújo.pdf
Concurso Caixa TI - Imersão Final - Rogério Araújo.pdf
 
Certificado - Data Analytics - CoderHouse.pdf
Certificado - Data Analytics - CoderHouse.pdfCertificado - Data Analytics - CoderHouse.pdf
Certificado - Data Analytics - CoderHouse.pdf
 
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
 
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdfFrom_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
 
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
 

[FISL17] Liberando dados com um comando, por Álvaro Justen