Good Stuff Happens in 1:1 Meetings: Why you need them and how to do them well
ROBSON_MONTENEGRO_PRES
1. Ret i f i cação de I magens de
Document os Capt ur ados por
Di sposi t i vos Móvei s Ut i l i zando
Tr ansf or mada de Hough e
Hi st ogr amas de Gr adi ent es
Or i ent ados
Di sser t ação de Mest r ado
Robson Davi d Mont enegr o
Or i ent ador : Pr of . Dr . Car l os Al exandr e Bar r os de
Mel l o
12 de Junho de 2015
2. 2
Sumár i o
• I nt r odução, Mot i vação e
Obj et i vos
• Cor r eção de I magens Capt ur adas
por Di sposi t i vos Móvei s
• Mét odo Pr opost o
• Exper i ment os e Resul t ados
• Concl usões e Tr abal hos Fut ur os
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
3. 3
I nt r odução
• Ret i f i cação de I magens de
Document os. . .
• “ Papel não nos dei xar á nas
pr óxi mas décadas. ” (Breuel ,
2005)
– Acer vos
– Cont r at os
– Document os
– Ci ênci a For ense
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
4. 4
I nt r odução
• Papel
–Fr ági l
–Suscet í vel ao envel heci ment o
–Canai s l ent os
• Popul ar i zação da
di gi t al i zação
–Pr eser vação
–Tr ansmi ssão
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
5. 5
I nt r odução
• Recuper ação de I nf or mação
– Si st emas de Reconheci ment o
Aut omát i co de Document os ( SRAD)
– OCRs
• Gest ão El et r ôni ca de
Document os ( GED)
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
6. 6
Mot i vação
• Domí ni o de mer cado do Escâner
– Fal t a de por t abi l i dade
– Document os f r ágei s
– Cadast r os ( Aber t ur a de Cont as)
– Bi bl i ot ecas, Tr i bunai s
• Di sposi t i vos móvei s
– Por t abi l i dade, cust o, não cont at o
– 281, 7 mi l hões ( TELECO, 2 0 1 5 )
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
7. 7
Mot i vação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
8. 8
Obj et i vos
• Desenvol vi ment o de uma abor dagem
par a cor r i gi r di st or ções de
per spect i va causadas pel a capt ur a
de document os por di sposi t i vos
móvei s sem dependênci a do cont eúdo
t ext ual .
• Cont r i bui r com est ado da ar t e par a um pr obl ema
sem sol ução
• Const r ução de uma base de document os pessoai s
br asi l ei r os
• Pr opor sol ução ef i ci ent e par a cor r eção deRetificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
9. 9
Cor r eção de I magens
Capt ur adas por
Di sposi t i vos Móvei s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
10. 10
Cor r eção de I magens
Capt ur adas por
Di sposi t i vos Móvei s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• 3 D
• 2 D
– FUJIMOTO ( 2 0 0 7 )
– Bukha r i e t a l ( 2 0 1 1 )
– St a ma t o p o ul o s e t a l ( 2 0 1 1 )
11. 11
Cor r eção de I magens
Capt ur adas por
Di sposi t i vos Móvei s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
12. 12
Cor r eção de I magens
Capt ur adas por
Di sposi t i vos Móvei s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
13. 13
Mét odo Pr opost o
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
14. 14
Mét odo Pr opost o
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
15. 15
Aj ust e do Cont r ast e
• Mapeament o RGB - > Tons de
Ci nza
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
16. 16
Aj ust e do Cont r ast e
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
17. 17
Aj ust e do Cont r ast e
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
18. 18
Apl i cação da HT- HOG
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
19. 19
Cál cul o dos HOGs
• Hi st ogr ama de Gr adi ent es
Or i ent ados
– Dal al e Tri ggs (2005)
– Descr i t or de di r eção e
i nt ensi dade
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
20. 20
Cál cul o dos HOGs
• Hi st ogr ama de Gr adi ent es
Or i ent ados
– Dal al e Tri ggs (2005)
– Descr i t or de di r eção e
i nt ensi dade
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
21. 21
Cál cul o dos HOGs
• Hi st ogr ama de Gr adi ent es
Or i ent ados
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
22. 22
Cál cul o dos HOGs
• Hi st ogr ama de Gr adi ent es
Or i ent ados
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
23. 23
Cál cul o dos HOGs
• Hi st ogr ama de Gr adi ent es
Or i ent ados
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
c e l l Si z e
cellSize
numBi ns
24. 24
Cál cul o dos HOGs
Or i g i na l
c e l l Si z e = 1 6
c e l l Si z e = 4
c e l l Si z e = 8 c e l l Si z e = 6 4
c e l l Si z e = 3 2
25. 25
Cál cul o dos HOGs
Or i g i na l numBi ns = 1 6
numBi ns = 4
numBi ns = 8 numBi ns = 6 4
numBi ns = 3 2
26. 26
Sel eção de HOGs sem
I ncl i nação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
numBi ns = 9 e cel l Si ze = 16
27. 27
Sel eção de HOGs sem
I ncl i nação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
numBi ns = 9 e cel l Si ze = 16
28. 28
Li mpeza de Component es
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
29. 29
Li mpeza de Component es
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
30. 30
Li mpeza de Component es
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
31. 31
Apl i cação da HT
• Tr ansf or mada de Hough
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
32. 32
Apl i cação da HT
• Tr ansf or mada de Hough
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
33. 33
Apl i cação da HT
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
34. 34
Apl i cação da HT
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
35. 35
Anál i se do Gr au de
Di st or ção
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
36. 36
Anál i se do Gr au de
Di st or ção
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
37. 37
Anál i se do Gr au de
Di st or ção
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
38. 38
Anál i se do Gr au de
Di st or ção
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
39. 39
Sel eção de HOGs com
I ncl i nação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
40. 40
Sel eção de HOGs com
I ncl i nação
• Nor mal i zação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
41. 41
Sel eção de HOGs com
I ncl i nação
• Nor mal i zação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
42. 42
Sel eção de HOGs com
I ncl i nação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• Resul t ado da HT- HOG com
I ncl i nação
43. 43
Sel eção de HOGs com
I ncl i nação
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• Combi nando os doi s r esul t ados
44. 44
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• Encont r ar
45. 45
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
Li nh
as
Hor i zont
ai s
Li nhas de
Topo
Li nhas de
Base
Ver t i cai
s
Li nhas à
Esquer da
Li nhas à
Di r ei t a
46. 46
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• I dent i f i car l i nhas Hor i zont ai s
e Ver t i cai s
47. 47
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• I dent i f i car l i nhas Lat er ai s
48. 48
Sel eção das Li nhas
• Remoção de o ut l i e r s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
49. 49
Sel eção das Li nhas
• Remoção de o ut l i e r s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
50. 50
Sel eção das Li nhas
• Remoção de o ut l i e r s
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
51. 51
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• I dent i f i car
52. 52
Sel eção das Li nhas
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• I dent i f i car
53. 53
Apl i cação da Cor r eção
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
54. 54
Exper i ment os e
Resul t ados
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
55. 55
Base de I magens
• Bases exi st ent es r i cas em
t ext o e al t a r esol ução
• Di sposi t i vos móvei s
– Sem cont r ol e de i l umi nação
– Sem base f i xa
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
56. 56
Base de I magens
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• Di st or ções
57. 57
Base de I magens
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
• Model os
58. 58
Met odol ogi a dos
Exper i ment os
• Gr o und Tr ut h – 4 vol unt ár i os
1. Mar car quat r o cant os do document o;
2. Caso cant o não est ej a no domí ni o
vi sí vel , mar car l ocal pr ovável ;
3. Caso cant o sej a ar r edondado,
mar car no encont r o i magi nár i o das
mar gens do document os.
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
59. 59
Met odol ogi a dos
Exper i ment os
• Gr o und Tr ut h
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
60. 60
Met odol ogi a dos
Exper i ment os
• Gr o und Tr ut h
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
61. 61
Met odol ogi a dos
Exper i ment os
• Cál cul o do Er r o
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
62. 62
Met odol ogi a dos
Exper i ment os
• Par amet r i zações do Mét odo
Pr opost o
– numBi ns var i ação l i near
– c e l l Si z e var i ação exponenci al
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
63. 63
Resul t ados e Anál i se
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
64. 64
Resul t ados e Anál i se
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
65. 65
Resul t ados e Anál i se
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
66. 66
Resul t ados e Anál i se
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
67. 67
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
68. 68
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
69. 69
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
70. 70
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
71. 71
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
72. 72
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
73. 73
Resul t ados e Anál i se
• Anál i se Qual i t at i va
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
74. 74
Resul t ados e Anál i se
• OCRs
– Fi neReader
– TOCR
• Di – Di f er ença ent r e r esul t ado
de l egi bi l i dade
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
75. 75
Resul t ados e Anál i se
• Toda a Base:
• I magens Di st or ci das:
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
76. 76
Resul t ados e Anál i se
• Test e de hi pót ese de Wi l c o x o n
i ndi ca que o novo mét odo
mel hor ou a l egi bi l i dade das
i magens.
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
77. 77
Resul t ados e Anál i se
• Compar ação com St amat opoul os
e t a t . ( 2011)
• Ut i l i zou base compost a por
pági nas de l i vr os.
• Necessi dade de f or necer
di mensões dos car act er es.
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
78. 78
Resul t ados e Anál i se
• St amat opoul os e t a t . ( 2011)
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
79. 79
Resul t ados e Anál i se
• St amat opoul os e t a t . ( 2011)
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
80. 80
Resul t ados e Anál i se
• St amat opoul os e t a t . ( 2011)
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
81. 81
Resul t ados e Anál i se
• St amat opoul os e t a t . ( 2011)
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
82. 82
Concl usões e Tr abal hos
Fut ur os
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
83. 83
Concl usões
• Exi st em si t uações onde o uso
de escâner es são pr oi bi t i vos.
• Di sposi t i vos por t át ei s
apr esent am al t er nat i va vi ável .
• Sol uções at uai s dependem de
r i co cont eúdo t ext ual .
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
84. 84
Concl usões
• O mét odo pr opost o é ef i caz par a
r et i f i cação de i magens capt ur adas
por di sposi t i vos móvei s.
– Tr ansf or mada de Hough e Descr i t or de
HOGs
– 4, 08% de er r o
• Est udo do i mpact o de c e l l Si z e e
numBi ns .
• API do HT- HOG.
• Base de i magens de document os
pessoai s.
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
85. 85
Tr abal hos Fut ur os
• Adi ci onar supor t e a document os
dobr ados
• Tr at ar document os com di st or ção de
encur vament o
• Ut i l i zar i nf or mação de t amanho de
l i nha na HT
• Ut i l i zar i nf or mação de cor par a
r emoção de o ut l i e r s
• Di sponi bi l i zar base de document os
pessoai s par a f oment ar
be nc hma r ki ng .Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e HOG
86. Ret i f i cação de I magens de
Document os Capt ur ados por
Di sposi t i vos Móvei s Ut i l i zando
Tr ansf or mada de Hough e
Hi st ogr amas de Gr adi ent es
Or i ent ados
Di sser t ação de Mest r ado
Robson Davi d Mont enegr o
Or i ent ador : Pr of . Dr . Car l os Al exandr e Bar r os de
Mel l o
12 de Junho de 2015
87. 87
I nt r odução
Retificação de Imagens de Documentos Capturados por Dispositivos Móveis utilizando HT e
HOG
• Pr ocessament o di gi t al de document os:
89. 89
Apl i cação da HT
Pi xel s HOGs cel l Si ze Di mi nui ção
( %)
2592 x 1458
648 x 364 4 93%
324 x 182 8 98%
162 x 91 16 99%
Notas do Editor
Agradecer Cleber e Byron por aceitarem fazer parte da banca
A apresentação foi dividida em 5 partes, onde a primeira é a apresentação do problema e a relevância e os objetivos do trabalho.
A segunda eu vou passar rapidamente pelo estado da arte mostrando os desafios da área.
Depois eu vou mostrar qual a nossa solução para este problema. O método proposto.
Os experimentos, metodologias, resultados e conclusões no final.
O Título desse trabalho é “Retificação de Imagens de Documentos Capturados por Dispositivos Móveis Utilizando Transformada de Hough e Histogramas de Gradientes Orientados”. Pois bem, “Documento” pode ter diferentes significados, mas, na prática a gente pode dizer que é uma quantidade de informação legível para o ser humano. Ou, para nós, no nosso dia-a-dia... é um monte de papéis contendo textos e elementos gráficos.
“Papel não nos deixará nas próximas décadas.” (Breuel, 2005)
Bom alguns autores o papel não nos deixará tão cedo. Se a gente for parar para pensar, muitos livros só existem em papel, muitos tipos de contratos tem que ter seu formato original físico preservados em papel (certidão de casamento, certidão de nascimento), documentos pessoais, RG, Carteira de Motorista, são preservados em papel. Vários métodos de detecção de fraude estao disponíveis apenas em papel.
Papel
O papel é muito importante mas seu uso traz alguns problemas..
No entanto, o papel é frágil, suscetível ao envelhecimento e os canais de transmissão
convencionais são lentos....
Popularização da digitalização
Por conta disto, a digitalização de documentos (ou seja a transformação do meio físico para o meio digital) vem sendo utilizada para preservação de informações e para aproveitar as tecnologias de transmissão de informação por meio digital. (O que demora mais mandar um documento por email ou pelos correios?). Além disto, existe a capacidade de armazenamento em larga escala ocupando pouco espaço e fornecendo acesso rápido a informação.
Outra vantagem da utilização da digitalização de documentos foi a capacidade de armazenamento de grande quantidade de informações em pouco espaço.
Com isso, foi possível armazenar grandes quantidades de informação de documentos em imagens digitais ocupando pouco espaço. E através de Sistemas de Reconhecimento Automático de Documentos capacidade de recuperação rápida de informação. Principalmente por conta dos OCRs que são capazes de transformar informação gráfica em texto que pode ser indexável.
Um dos efeitos colaterais foi o surgimento de setores em empresas exclusivamente para este fim.. Como são os setores e ferramentas de GED
Domínio do escâner
Grande parte dessas soluções utilizam o escaner como ponto inicial de aquisição das imagens. Existem escâneres para diversos fins e calibres mas a maioria sofre de algumas limitações (restrições).
Escaner, na maioria das vezes, não possui portabilidade adequada. Precisa de uma base fixa (para os de mesa) e mesmo os portáteis precisam estar ligados a um computador.
Inviáveis para documentos frágeis que precisam ser manipulados e são bastante caros.
A maioria de cadastros em empresas em que é necessário apresentar documentos precisam ser feitos nos pontos de venda. Em tribunais ou em bibliotecas existem documentos ou livros que não são permitidos sair do local é só pode ser utilizado para consulta.
Porém, não viável para certas situações
Dispositivos móveis
Nessas circunstâncias, a utiliação de dispositivos móveis tem se mostrado uma alternativa interessantes aos escaneres de mesa: pela facilidade de uso, portabilidade, não nacessiddade de contato com o objeto e custo baixo.
Porém (proximo slide)
Sem base fixa, iluminação heterogênea, backgrounds complexos
Inclinação
Perspectiva
Iluminação Heterogênea
Backgrounds complexos
Isso tudo dificulta o OCR
Dispositivos específicos na hora da caputura: câmeras estereoscópicas, escâneres a laser, iluminação específica....
Soluções efetivas, porém não funcionam para cenários com pouco texto
Soluções efetivas, porém não funcionam para cenários com pouco texto
Lembrar de dizer que o objetivo é preservar o texto
Lembrar de dizer que o objetivo é preservar o texto
Realça as regiões de transição de intensidade trazendo mais informações relevantes para o processamento posterior que é o HOG.
O princípio do descritor de HOG é dividir a imagem em células e estabelecer qual a
direção dominante em cada uma dessas sub-partes
Subdividir a imagem em partes iguais... Definir um histograma para cada uma dessas partes..
E cada coluna do histograma representa o Valor da orientação dentro daquela sub-parte
O princípio do descritor de HOG é dividir a imagem em células e estabelecer qual a
direção dominante em cada uma dessas sub-partes
O princípio do descritor de HOG é dividir a imagem em células e estabelecer qual a
direção dominante em cada uma dessas sub-partes