Transferir como PDF, PPTX
![O que faz?
rs=[
e
]
frlnai etaasltie(:
o ih n nrd.pilns)
i ntlna
f o ih:
cniu
otne
ie ={
tm
}
frprei lnaslt)
o at n ih.pi(:
k v=preslt''
,
at.pi(:)
ie[]=v
tmk
rsapn(tm
e.pedie)
Você entende o código, mas não tem significado.](https://image.slidesharecdn.com/pybr9raspador-131022170833-phpapp01/85/Raspador-Biblioteca-em-Python-para-extracao-de-dados-em-texto-semi-estruturado-11-320.jpg)
![I [:
n ]
#Oqeis fz
u so a?
rgx="((!$&*/?_{}]|[#%'+-=^
ee
^([#%'+-=^`|~w)(!$&*/?_
`|~w[#%'+-=^`|~.w{,[#%'+-=^`
{}]!$&*/?_{}]0}!$&*/?_{
|~w)[]w(-]w)+[.+*$
}])@+[.+*.w(-]w))"
Email validation - RFC 2821, 2822 compliant](https://image.slidesharecdn.com/pybr9raspador-131022170833-phpapp01/85/Raspador-Biblioteca-em-Python-para-extracao-de-dados-em-texto-semi-estruturado-13-320.jpg)
![#pre.as rtrau gnrtr
asrpre eon m eeao
wt oe(pso.x' a f
ih pn'esatt) s :
g=pre.as()
asrpref
pittp()
rn(yeg)
pitnx()
rn(etg)
<ye'eeao'
tp gnrtr>
Dcinr((Nm' 'ud vn
itoay['oe, Gio a
Rsu',(Iae,5))
osm) 'dd' 7]](https://image.slidesharecdn.com/pybr9raspador-131022170833-phpapp01/85/Raspador-Biblioteca-em-Python-para-extracao-de-dados-em-texto-semi-estruturado-19-320.jpg)
![RASPADOR.ITEM
casDcinr(reeDc)
ls itoayOdrdit:
""
"
Dcinr ta epssky a poete fr
itoay ht xoe es s rpris o
es ra acs.
ay ed ces
""
"
df_gttr_sl,nm)
e _eat_(ef ae:
i nm i sl:
f ae n ef
rtr sl[ae
eun efnm]
rieAtiuero(
as trbtErr
"swtotat 's"%
% ihu tr %'
(yesl)_nm_,nm)
tp(ef._ae_ ae)](https://image.slidesharecdn.com/pybr9raspador-131022170833-phpapp01/85/Raspador-Biblioteca-em-Python-para-extracao-de-dados-em-texto-semi-estruturado-20-320.jpg)
![BASEFIELD
is_list
>>s="20/031:15
>
0/121 02:1
CO023"
O:274
>>fed=BsFedrCO(d),i_itTu)
> il
aeil('O:+' sls=re
>>fedpreboks
> il.as_lc()
[023'
'274]
Por convenção, quando o campo retorna uma lista, os valores
serão acumulados.](https://image.slidesharecdn.com/pybr9raspador-131022170833-phpapp01/85/Raspador-Biblioteca-em-Python-para-extracao-de-dados-em-texto-semi-estruturado-24-320.jpg)
Carregado porFernando Macedo
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturado
O documento descreve um raspador de mini-biblioteca desenvolvido para extração de dados de documentos semiestruturados, com ênfase em técnicas e bibliotecas como lxml, BeautifulSoup e regex. O autor, Fernando Macedo, compartilha sua experiência como desenvolvedor de Python desde 2003 e apresenta desafios associados à extração de dados em documentos com pouca estrutura. O conteúdo inclui exemplos de código e referências a testes automatizados e otimizações.
![OpenData-BR, [Captando] Dados públicos brasileiros](https://cdn.slidesharecdn.com/ss_thumbnails/opendatabr-rc2-110119072252-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
Raspador: Biblioteca em Python para extração de dados em texto semi-estruturado
- 1. RASPADOR Mini-biblioteca para extraçãode dados em documentos semiestruturados
- 2. SOBRE MIM Desenvolvedor desde2003 Conheci Python em 2009 Trabalho na NCR Corporation Na NCR, Python não é a linguagem primária
- 3. fo rsao iprhsoy rm apdr mot itr Foi utilizado para extração de dados de Espelhos MFD Virou código de base do projeto
- 4. OUTRO PARSER? lxml (XPath,cssselectors) html5lib (html parser) BeautifulSoup (tree parser api) PyQuery (cssselectors) Scrapely (magia negra) Scrapy (crawler: request, responsing) pyparsing (grammar) NLTK (grammar) Plain Python + regex
- 5. O QUE? Extrair dadosde arquivos texto que não foram projetados para isso.
- 6. CP:4.0.8/012 NJ 0102000-5 I: E 602000 000601 I: 3/32 M 637 1/1211:70 80/03 10:4 CF020 CO079 C:092 O:040 CPMFSA UO ICL IE CDG DSRÇOQDU.LUI R S V IE R TM ÓIO ECIÃ T.NV NT $ T L TM $ 011pd 0 r1 1NI 10€ U 1 ,0 022pd 0 r2 Nni icd 1NN 20€ U 1 ,0 039999991PZA 0 999999 IZS 1NI 1,3 U 1 43€ Sboa R uttl $ 1,3 73 ARSIO CÉCM +,0 03€ TTL R OA $ 1,3 76 Dner ihio 1,3 76 ----------------------------------------------M5 ABE3D91EE0A09884 D: 3B7B0B8C675F26AE 0B1143AEF90 B 554 7AE06F07 2 3B 54 500 6 90C 21 69 2 EFI C-F VRÃ:10.0 ESO0.10 EF01 C:0 L: j BBBBBABCE BBBBBAFDI 1/121 1:70 80/03 10:6 FBX000000275 A:X000000003 B R
- 7. { 'O' 79, CO: 40 'C'20, CF: 92 'oa' 1.3 Ttl: 76, 'cecm' 03, Arsio: .0 'acld' Fle Cneao: as, 'aclmno:Fle Cneaet' as, 'aaemsa' dttm(03 0,1,1,7 4, DtDEiso: aeie21, 1 8 1 , ) 'ueoeei' 'R50R000013, NmrDSre: D01B000275' 'ueooc' 1 NmrDEf: , 'tn' [ Ies: { 'tm:1 Ie' , 'oio:'' Cdg' 1, 'ecia' 'r1, Dsrco: pd' 't' 1 Qd: , 'ndd' 'N, Uiae: U' 'rc' 1 Peo: , 'oa' 1 Ttl: , 'acld' Fle Cneao: as, 'lqoa:{ Aiut' 'oio:'1, Cdg' I'
- 8. PROBLEMA Extrair dados emdocumentos de texto Texto sem marcação Arquivos grandes Pequenas variações entre arquivos Precisão na extração dos dados
- 9. OPÇÕES? lxml (XPath, cssselectors) html5lib(html parser) BeautifulSoup (tree parser api) PyQuery (cssselectors) Scrapely (magia negra) Scrapy (crawler: request, responsing) pyparsing (grammar) NLTK (grammar) Plain Python + regex
- 10. PLAIN PYTHON +REGEX Fácil de escrever Difícil de manter Write only code
- 11. O que faz? rs=[ e ] frlnaietaasltie(: o ih n nrd.pilns) i ntlna f o ih: cniu otne ie ={ tm } frprei lnaslt) o at n ih.pi(: k v=preslt'' , at.pi(:) ie[]=v tmk rsapn(tm e.pedie) Você entende o código, mas não tem significado.
- 12. REGULAR EXPRESSIONS Some people,when confronted with a problem, think "I know, I'll use regular expressions." Now they have two problems. (Jamie Zawinski, 1997)
- 13. I [: n ] #Oqeisfz u so a? rgx="((!$&*/?_{}]|[#%'+-=^ ee ^([#%'+-=^`|~w)(!$&*/?_ `|~w[#%'+-=^`|~.w{,[#%'+-=^` {}]!$&*/?_{}]0}!$&*/?_{ |~w)[]w(-]w)+[.+*$ }])@+[.+*.w(-]w))" Email validation - RFC 2821, 2822 compliant
- 14. Não exagere I loveregular expressions (Jeff Atwood)
- 15. OBJETIVOS Reduzir complexidade Incluir semântica Favorecercomposição Código testável
- 16. pessoa_parser.py fo rsao iprPre rm apdr mot asr fo rsao ipr SrnFed Itgril rm apdr mot tigil, neeFed casPreDIfraosesasPre) ls asrenomcePsoi(asr: Nm =SrnFedrNm:(*' oe tigil('oe .)) Iae=Itgril('+ ao' dd neeFedr(d) ns) A definição de um atributo e o tipo de dado agregam semântica
- 17. pessoa.txt Nome: Guido vanRossum Guido van Rossum é um programador de computadores dos Países Baixos que é mais conhecido por ser o autor da linguagem de programação Python. Wikipédia Nascimento: 31 de janeiro de 1956 (57 anos), Países Baixos Cônjuge: Kim Knapp (desde 2000) Educação: Universidade de Amsterdã (1982) Filho: Orlijn Michiel Knapp-van Rossum Irmão: Just van Rossum
- 18. pessoa_utilizacao.py fo pso_asripr PreDIfraosesas rmesapre mot asrenomcePsoi pre =PreDIfraosesas) asr asrenomcePsoi( wt oe(pso.x' a f ih pn'esatt) s : frpso i pre.as() o esa n asrpref: pitpso.oe rn(esaNm) pitpso.dd) rn(esaIae Guido van Rossum 57
- 19. #pre.as rtrau gnrtr asrpreeon m eeao wt oe(pso.x' a f ih pn'esatt) s : g=pre.as() asrpref pittp() rn(yeg) pitnx() rn(etg) <ye'eeao' tp gnrtr> Dcinr((Nm' 'ud vn itoay['oe, Gio a Rsu',(Iae,5)) osm) 'dd' 7]
- 20. RASPADOR.ITEM casDcinr(reeDc) ls itoayOdrdit: "" " Dcinr taepssky a poete fr itoay ht xoe es s rpris o es ra acs. ay ed ces "" " df_gttr_sl,nm) e _eat_(ef ae: i nm i sl: f ae n ef rtr sl[ae eun efnm] rieAtiuero( as trbtErr "swtotat 's"% % ihu tr %' (yesl)_nm_,nm) tp(ef._ae_ ae)
- 21. CAMPOS BUILT-IN fo rsaoipr ( rm apdr mot BsFed Itgril, aeil, neeFed SrnFed Boenil, tigil, olaFed Fotil,BFotil, laFed RlaFed DtFed DtTmFed aeil, aeieil) TODO: B F o t i l , definir sistema de localização. RlaFed
- 22.
- 23. BASEFIELD input_processor >>s="20/031:15 > 0/121 02:1 CO023" O:274 >>dfdul(au) > eobevle: .. . rtr itvle *2 eun n(au) .. . >>fed=BsFedrCO(d), > il aeil('O:+' .. . iptpoesrdul) nu_rcso=obe >>fedpreboks #448=2x274 > il.as_lc() 56 23 448 56
- 24. BASEFIELD is_list >>s="20/031:15 > 0/121 02:1 CO023" O:274 >>fed=BsFedrCO(d),i_itTu) > il aeil('O:+'sls=re >>fedpreboks > il.as_lc() [023' '274] Por convenção, quando o campo retorna uma lista, os valores serão acumulados.
- 25.
- 26. PARSER Responsável por conduzira iteração Podem ser alinhados
- 27. NEM TUDO QUEÉ TEXTO ... está em texto pdftotext Dica: pfoet-aot<ruv.d> dttx lyu aqiopf Mantém a estrutura do arquivo gerado próxima com o original.
- 28. REGULAR EXPRESSIONS Debuggex: visualizesuas REs https://www.debuggex.com/ Aurélio Expressões regulares, uma abordagem divertida
- 29. COMPATIBILIDADE CPython 2.6+ 2.6: pipinstall ordereddict CPython 3.2+ PyPy
- 30. TESTES Testes automatizados comtox. $tx o Bibliotecas de terceiros para os testes são instaladas automaticamente no ambiente virtual da versão do Python: ns=130 oe=.. cvrg=36 oeae=. fae=20 lk8=.
- 31.
- 32.