1. Linguística de Corpus e
LinguísticaComputacional:
Encontrosedesencontros
InPLA 2011
25 de junho, 2011
b
2. A Anotação semi-automática de divergências de grafia
como fundamento para o processamento automático de textos
antigos:
Uma experiência na Brasiliana Digital
Maria Clara Paixão de Sousa
Universidade de São Paulo
Faculdade de Filosofia, LetraseCiênciasHumanas
Brasiliana Digital
NUMEC - Núcleo de Matemática, EstatísicaeComplexidade
3. Nestacomunicaçãoapresentareiumaexperiência de aplicação de
técnicasdalinguística de corpus aoprocesso de formação de
umabiblioteca digital.
Utilizando a ferramenta E-Dictor, concebidacomoauxiliardaanotação
de grafiasdivergentespara fins de
etiquetagemmorfossintáticaautomática num corpus
histórico, procuramostransformar um conjunto de
seistextosportuguesesescritos entre 1600-1700 em material
processávelporoutrasferramentas de buscaeanotaçãoautomática.
Para isso, adotamos a técnicaoriginalmenteutilizadanaanotação de
divergência de grafiascomo um tratamentoparaoproblema dos
resultadossofríveis do reconhecimentoautomático de
caracteresnaquelestextos.
Na
comunicação, mostrareiosdesafiosenfrentadosaolongodessaexperiênci
a, seusresultadosiniciais, eoscaminhosque se abrem a partir disso no
sentido do aperfeiçoamento de processos de tratamentoautomático de
textosmaisantigos, tanto no queremeteaoreconhecimento de
caracteresquanto no quetange a indexaçãoparabuscas.
11. Resultadodaaplicação
de programa de OCR
Um Desafio
OfirmaexperknctttptedomPhdippe I U
Rey de Caííellaporforçaepodeir de armas- àc-
cupouantigamente a Coroa de Portugal3 e polo
covftgmteprittouao. Serenifjmaep^étQpo~
dercfo-Rey Dotnloao* (4ntesl)iiqú^de
l$aroanç4)do indubitaueldereitodesfiafie
-ceffàoejuííiçaparaaditpaCoroa de "Portugal com) legitimoe pro-
ximoberdekodaSerenifsimaSenhora,, dona Catharina: fmuitos
annoscontinuas per/èueraraposfifeefmes.de ditto Rey^Ca$fL
(a emauiolentàoccupaçaódadittaCoroade Portugal quebramando
os concertos epafâosd'amiffade , de confiançaedoComercioqueos
SenhoraReysdaCoroa de Portugglcomosoutros P/mcepesEna-
çotsd'Europaftntamentefemprerefpeitaraóprmando.aosbopsfub-
ditoseuaffkllosda, mefmacoroadefeudereito de fias leys ecoftumes:
talemdijjòcarngandoosinjufíamete de intoleraueismokjliaseoutras
diuerfisefpecias de tirannia3juntas aexcefstuos tr'èutos3os quaesos
Reys de CaííellajuntamentecomopatrimôniodaCoroa Real de
poKtugalconfomiraôedeftmiraócomguerrasefcufadas-.coni as quaes
coufasfendoos dittos boòsSubditoseuaffkllosdaquellaCoroaeííi-
muladosepromcadosdejuíío furor ^vencidoofofrimento 3 com
grande animo3 oufaâaeadvertenàafacodiraòaquelleintolerauel
einjuflolugod El Rey de Caííellareftituindofeafsimefmos a fia
liberdade} efinalmenteporapplaufocomuneUegraôeacclamaraó *
deraòomenagem, ejuramentodefidelidadeaoãtto Rey Dom Io-
ao* IV , OfmmtopoderofosSenhoresQrdeésGeraesfenúndo
juxtamenteporfua parte 3 etendo be' conhecidoaintoleraueltiranya
edurifsimosencargos do ditto Rey de Caííellaefiadeteflauel deter
minaçãoparaalcançar a Monanhiadetanto tempo emtodaEuropa
12. MOſtrouaexperienciaquedomPhelippe I I,
Rey de Castellaporforçaepoder de armasoc-
cupouantigamente a Coroa de Portugal, e polo
conſeguintepriuouaoSereniſsimoemuitopo-
deroſo Rey Dom Ioaõ (antes Duque de
Bargança)doindubitaueldereito de ſuafuc-
aſſaóejustiçaparaadittaCoroa de Portugal comolegitimoe pro
ximoherdeirodaSereniſsimaSenhoradona Catharina: emuitos
annoscontinuosperſeueraraóosfucceſsoresde ditto Rey de Castel-
la emauiolentaoccupaçaõdadittaCoroade Portugal quebrantando
os concertos epactosd’amiſſade, de confiançaedoComercioqueos
SenhoresReysdaCoroa de Portugal com osoutrosPrincepesEna-
çoésd’Europaſantamenteſemprereſpeitaraópriuandoaosboósſub-
ditoseuaſſallosdameſmacoroadeſeudereito de ſuas leys ecoftumes:
ealemdiſſocarregandoosinjuſtamete de intoleraueismoleſtiaseoutras
diuerſaseſpecias de tirannia,juntasaexceſsiuostributos, osquaesos
Reys de CastellajuntamentecomopatrimoniodaCoroa Real de
Portugal conſomiraóedeftruiraócomguerraseſcuſadas:com as quaes
couſasſendoos dittos boósSubditoseuaſſallosdaquellaCoroaesti--
muladoseprouocadosdejusto furor vencidooſofrimento , com
grandeanimo, ouſadiaeadvertenciaſacodiraóaquelleintolerauel
einjuſtoIugod’ El Rey de Castellareftituindoſeafsimeſmos a fua
liberdade, efinalmenteporapplauſocomunellegeraóeacclamaraó ,
deraóomenagem, ejuramentódefidelidadeao ditto Rey Dom Io
aó IV , OſmnitopoderoſosSenhoresOrdeésGeraesſentindo
juxtamenteporſua parte, etendo be' conhecidoaintoleraueltiranya
eduriſsimosencargos do ditto Rey de Castellaefuadeteſlauel deter
minaçaóparaalcançar a Monarchiadetanto tempo emtodaEuropa
Resultadodacorreção
do output de OCR
Um Desafio
13. Mostrou a experiênciaquedom Felipe II,
Rei de Castelaporforçaepoder de armas,
ocupouantigamente a Coroa de Portugal, epelo
conseguinteprivouaoSereníssimoemuitopoderoso
Rei Dom João (antes Duque de
Bragança) do indubitáveldireito de suasucessão
ejustiçapara a ditaCoroa de Portugal comolegiíimoepróximo
herdeirodaSereníssimaSenhoradonaCataarina: emuitos
anoscontínuosperseveraramossuccesores de ditoRei de Castela
em a violentaocupaçãodaditaCoroa de Portugal quebrantando
os concertos epactos de amizade, de confiançae do Comércioqueos
Senhores Reis daCoroa de Portugal com osoutrosPríncipeseNações
daEuropasantamentesemprerespeitaramprivandoaosbonssúditos
evassalosdamesmacoroa de seudireito de suas leis e costumes:
ealém disso carregando-osinjustamente de intoleráveismoléstiaseoutras
diversasespécies de tirania,juntas a excessivostributos, osquaisos
Reis de Castelajuntamente com opatrimôniodaCoroa Real de
Portugal consumiramedestruíram com guerrasescusadas: com as quais
coisassendoosditosbonsSúditosevassalosdaquelaCoroaestimulados
eprovocados de justo furor vencidoosofrimento, com
grandeânimo, ousadiaeadvertênciasacodiramaqueleintolerável
einjustoJugod’ El Rei de Castelarestituindo-se a simesmos a sua
liberdade, efinalmenteporaplausocomumelegerameaclamaram,
deramhomenagem, ejuramento de fidelidadeaoditoRei Dom João
IV , osmuitopoderosossenhoresOrdensGeraissentindo
justamenteporsua parte, etendobemconhecido a intoleráveltirania
eduríssimosencargos do ditoRei de Castelaesuadetestáveldeterminação
paraalcançar a Monarquia de tanto tempo emtodaEuropa
Textoefetivamentelegível
Um Desafio
14. Mostrou a experiênciaquedom Felip
Rei de Castelaporforçaepoder de armas,
ocupouantigamente a Coroa de Portuga
conseguinteprivouaoSereníssimoemuitopoderoso
Rei Dom João (antes Duqu
Bragança) do indubitáveldireito de suasucessão
ejustiçapara a ditaCoroa de Portugal comolegiíimoepróximo
herdeirodaSereníssimaSenhoradonaCataarina:
anoscontínuosperseveraramossuccesores de ditoRei de Castela
em a violentaocupaçãodaditaCoroa de Portugal
os concertos epactos de amizade, de confiançae do
Senhores Reis daCoroa de Portugal com osoutrosPríncipeseNações
daEuropasantamentesemprerespeitaramprivandoaosbonssúditos
evassalosdamesmacoroa de seudireito de suas leis
ealém disso carregando-osinjustamente de intolerávei
diversasespécies de tirania,juntas a excessivostributos
Reis de Castelajuntamente com opatrimôniodaCoroa
Portugal consumiramedestruíram com guerrasescusadas: com
coisassendoosditosbonsSúditosevassalosdaquelaCoroaestimulados
eprovocados de justo furor vencidoosofrime
grandeânimo, ousadiaeadvertênciasacodiram
einjustoJugod’ El Rei de Castelarestituindo-se a simes
liberdade, efinalmenteporaplausocomumeleg
deramhomenagem, ejuramento de fidelidadeaoditoRei
IV , osmuitopoderosossenhoresOrde
justamenteporsua parte, etendobemconhecido a
eduríssimosencargos do ditoRei de Castelaesuadetestáveldeterminação
paraalcançar a Monarquia de tanto tempo emtodaEuropa
Condição material dos nossos textos mais antigos
Um Desafio
17. - Ferramenta “treinável”:
- Resultadostransferíveisparao total do acervo
- Resultadostransferíveisparaoutrosprojetose
acervos
Vantagensprevistas:
Estratégia
s
Estratégia
s
1. Correção de OCR
Abbyy 10.0
18. - Ferramenta “treinável”:
- Resultadostransferíveisparao total do acervo
- Resultadostransferíveisparaoutrosprojetose
acervos
Vantagensprevistas:
Estratégia
s
1. Correção de OCR
Abbyy 10.0
Desvantagensprevistas:
- Software proprietário:
- Impossibilidade de trabalho no código-fonte
- Imprevisibilidade de continuidade do programa
- Transferibilidadecomprometidapelo alto preço
- Resultadosópode ser parcial:
- Necessidade de novo tratamentopara
variação de grafia
Estratégia
s
1. Correção de OCR
Abbyy 10.0
19. 2. Correção de OCR e
Ediçãofilológica
(Edictor*)
Estratégia
s
1. Correção de OCR
Abbyy 10.0
* Paixão de Sousa, Kepler e Faria (2010)
20. Estratégia
s
Vantagens previstas:
- Software livre:
- Possibilidade de trabalho no código-fonte
- Previsão de continuidade do programa
- Transferibilidadegarantida
- Ferramentacompleta:
- O resultadocombinacorreção do
reconhecimentoeedição de variação de grafia
2. Correção de OCR e
Ediçãofilológica
(EDictor)
1. Correção de OCR
Abbyy 10.0
21. Estratégia
s
Vantagens previstas:
- Software livre:
- Possibilidade de trabalho no código-fonte
- Previsão de continuidade do programa
- Transferibilidadegarantida
- Ferramentacompleta:
- O resultadocombinacorreção do
reconhecimentoeedição de variação de grafia
- Ferramentanão-“treinável”:
- Resultadosnãotransferíveispara
o total do acervo
- Resultadosnãotransferíveispara
outrosprojetoseacervos
Desvantagens previstas:
2. Correção de OCR e
Ediçãofilológica
(EDictor)
1. Correção de OCR
Abbyy 10.0
23. -Financiamento:
Pró-reitoria De Graduação - USP
ProgramaEnsinar com Pesquisa
-Tempo de pesquisa:12 meses
-Pesquisadoresenvolvidos:7
(
BrunaBaldini de Miranda
FabianaFerraz
Fabio Kepler
JádersonPorto
Márcia Ap. Santos Mendes
Maria Clara Paixão de Sousa (coord.)
MarianeCristine de Almeida
Resultados:
Números
24. -Financiamento:
Pró-reitoria De Graduação - USP
ProgramaEnsinar com Pesquisa
-Tempo de pesquisa:12 meses
-Pesquisadoresenvolvidos:7
-Textoscorrigidos:6
-Total de palavrasprocessadas: 39.000
- Total de tokens de variação: 11.500
Resultados:
Números
26. Resultados:
EsquemaGeral
VersõesDisponíveis Para CadaTexto:
- Texto com OCR corrigido
(equivalente a umaediçãopaleográfica)
- Edição Semi-diplomática
- EdiçãoModernizada
- Glossário de correções de OCR
- Glossário de edições
- Versão com EtiquetaçãoMorfossintática
27. VersõesDisponíveis Para CadaTexto
- Texto com OCR corrigido
(equivalente a umaediçãopaleográfica)
XML, Html, TXT
- Edição Semi-diplomática
XML, Html, TXT
- EdiçãoModernizada
XML, Html, TXT
- Glossário de correções de OCR
XML, Html, TXT, CSV
- Glossário de edições
XML, Html, TXT, CSV
- Versão com EtiquetaçãoMorfossintática
XML, TXT
Resultados:
EsquemaGeral
29. -Resultadodo OCR
(treinadoparao
PortuguêsClássico)
Treſlado do Latin nalin-
goaPortugeza .
Trattado das " Tregoasefuspenſaó de todooacto de
hoſti / idadoebemaſſi de navegação , ComércioejuntamenteSoccorro , ſei-
io , comefadoeaccabadoemHayadeHollandeaxìj . de Junho 164 ĩ . por
tempo de des annos entre oSenhorTriſtaõ de McndoçaFurtado ,
do ConfelhoeEmbaixador do Serenijfimoepoderqfijſtmo Dom Ioao'
I V deſtenome Rey do Portugal edosAlgarvos , Eos SenhoresDepu-
tados dos MuitopoderoſosSenhoresEJtadosGeraés das Provincias
Vnìdas dos Pai % esBaìxos .
Em a HAYA ,
EmcazadaViuvaeErdeiros de IlebrandtIacobſon van Wbuw , Impri-
midorOrdinario dos Muy altos epoderoſosSnnoresEJladosGe- nerais
, Anno 1 642 . CurnPrivilegio .
Resultados:
Exemplos
30. Treſlado do Latin nalin-
goaPortugeza .
Trattado das " Tregoasefuspenſaó de todooacto de
hoſti / idadoebemaſſi de navegação , ComércioejuntamenteSoccorro , ſei- io ,
comefadoeaccabadoemHayadeHollandeaxìj . de Junho 164 ĩ . por
tempo de des annos entre oSenhorTriſtaõ de McndoçaFurtado ,
do ConfelhoeEmbaixador do Serenijfimoepoderqfijſtmo Dom Ioao'
I V deſtenome Rey do Portugal edosAlgarvos , Eos SenhoresDepu-
tados dos MuitopoderoſosSenhoresEJtadosGeraés das Provincias
Vnìdas dos Pai % esBaìxos .
Em a HAYA ,
EmcazadaViuvaeErdeiros de IlebrandtIacobſon van Wbuw , Impri-
midorOrdinario dos Muy altos epoderoſosSnnoresEJladosGe- nerais
, Anno 1 642 . CurnPrivilegio .
Resultados:
Exemplos
Taxa média de acerto
inicial:
59%
Taxa média de acerto
após treinamento:
86%
31. -Textocom OCR corrigido
no E-Dictor
Treſlado do Latin nalin-
goaPortugeza .
Trattado das Tregoaseſuspenſaóde todooacto de
hoſtilidadeebemaſſide navegaçaó, ComercioejuntamenteSoccorro , fei-to
,começadoeaccabadoemHaya de Hollande a xÿ. de Iunho 1641 . por
tempo de des annos entre oSenhorTriſtaõ de MendoçaFurtado ,
do ConſelhoeEmbaixador do SereniſſimoepoderoſiſſimoDom Ioao'
I V deſtenome Rey de Portugal edosAlgarvos , Eos SenhoresDepu-
tados dos MuitopoderoſosSenhoresEſtadosGeraés das Provincias
Vnidasdos PaizesBaixos.
Em a HAYA .
EmcazadaViuvaeErdeiros de IlebrandtIacobſon van Wouw, Impri-
midorOrdinario dos Muy altos epoderoſosSnnoresEſtadosGe- nerais
, Anno 1 642 . Cum Privilegio .
Resultados:
Exemplos
32. - EdiçãoModernizada
Tratadodastréguasesuspensãode todooatode
hostilidadeebemassimde navegação, comércioejuntamentesocorro, feito,
começadoeacabadoemHaya de Hollande a XII . de Junho 1641 . por
tempo de dezanosentre osenhorTristãode MendoçaFurtado ,
do conselhoeembaixadordo sereníssimoepoderosíssimoDom João
IV destenomerei de Portugal edos Algarvos, eossenhoresdeputados
dos muitopoderosossenhoresestadosgeraisdas províncias
vindasdos paísesbaixos.
.
Resultados:
Exemplos
Tresladodo latimnalíngua
portuguesa.
Em a HAYA .
Emcasa daviúvaeherdeirosde IlebrandtIacobſon van Wouw, imprimidor
ordináriodos muialtos epoderosossenhoresestadosgenerais,
Ano 1642 . Com privilégio
37. Estes dados poderiam ser
utilizadoscomo base para um
programa de buscas no acervo de
textosantigos.
2Banco de grafiasemvariação
Resultados:
Produtos
<w id="s_6#86">
<o>amiſjade</o>
<et="ocr">amiſſade</e>
<et="gra">amissade</e>
<et="mod">amizade</e>
<mv="N"/>
</w>
38. <w id="s_3#1" t="honor">
<o>MARQVEZ</o>
<et="mod">MARQUÊS</e>
<mv="NPR"/>
</w>
<w id="s_3#2" t="dep">
<o>DE</o>
<mv="P"/>
</w>
<w id="s_3#3" t="antropo" name="Montalvão (Marquês de)">
<o>MONTALVAM</o>
<et="mod">MONTALVÃO</e>
<mv="NPR"/>
<comment>
Jorge de Mascarenhas, Marquês de Montalvão. Fidalgoeadministrador colonial
português. Foigovernador de Mazagão (1615-1619), de Tânger (1622-1624) e
do Algarve. No contextodaDinastia Filipina, tendocaídoemdesgraçaocondeda
Torre (sucedidoporuma Junta Governativatríplice),
Mascarenhasfoinomeadopor Filipe IV de Espanhacomo 1º vice-rei do Brasil
(1640).
</comment>
</w>
Banco de entidadesnomeadas3
Resultados:
Produtos
45. O banco de
palavrasformadopelanossaanotação XML
combinacorreção de
reconhecimentoautomático, variação de
grafiaeclasse de palavras.
Estes dados poderiam ser utilizadoscomo base
paraodesenvolvimento de programas de
reconhecimentoautomáticocapazes de
tratartextosescritosemportuguêsclássico.
Novos
Desafios
46. O banco de
palavrasformadopelanossaanotação XML
combinacorreção de
reconhecimentoautomático, variação de
grafiaeclasse de palavras.
Estes dados poderiam ser utilizadoscomo base
paraodesenvolvimento de programas de
reconhecimentoautomáticocapazes de
tratartextosescritosemportuguêsclássico.
Novos
Desafios
Quemprecisa de programas de
reconhecimentoautomáticocapaze
s de
tratartextosescritosemportuguêscl
ássico?
61. Linguística de Corpus e
LinguísticaComputacional:
Encontrosedesencontros
InPLA2011
A Anotação semi-automática de divergências de grafia
comofundamentoparaoprocessamentoautomático de textosantigos:
UmaexperiêncianaBrasiliana Digital
Maria Clara Paixão de Sousa
Universidade de São Paulo
Faculdade de Filosofia, LetraseCiênciasHumanas
Brasiliana Digital
NUMEC - Núcleo de Matemática, EstatísicaeComplexidade
65. e
S
a
b
f
ǣ
ẽ
ĩ ũ
õδſ ʦ
ӕ ſ
Nesta comunicação apresentarei uma
experiência de aplicação de técnicas da
linguística de corpus ao processo de
formação de uma biblioteca digital.
Utilizando a ferramenta E-Dictor,
concebida como auxiliar da anotação
de grafias divergentes para fins de
etiquetagem morfossintática automática
num corpus histórico, procuramos
transformar um conjunto de seis textos
portugueses escritos entre 1600-1700
em material processável por outras
ferramentas de busca e anotação
automática. Para isso, adotamos a
técnica originalmente utilizada na
anotação de divergência de grafias
como um tratamento para o problema
dos resultados sofríveis do
reconhecimento automático de
caracteres naqueles textos.
Na comunicação, mostrarei os desafios
enfrentados ao longo dessa experiência,
seus resultados iniciais, e os caminhos
que se abrem a partir disso no sentido
do aperfeiçoamento de processos de
tratamento automático de textos mais
antigos, tanto no que remete ao
reconhecimento de caracteres quanto
no que tange a indexação para buscas.
71. Novos
Desafios Grupo de Pesquisas em
Processamento da Linguagem,
Linguística Histórica e Filologia
e-Philo
Brasiliana USP
NUMEC - IME USP
DLCV - FFLCH USP