SlideShare uma empresa Scribd logo
1 de 23
Baixar para ler offline
Perspectivas para integração do Design 

nas Humanidades Digitais frente ao desafio
da análise de artefatos visuais

Júlia Rabetti Giannella
@juliagiannella
juliagiannella@gmail.com
Doutorado em
Design e Tecnologia
PPDESDI - UERJ
Assistente
de pesquisa
Visgraf - IMPA
LUGAR DE FALA
Julia Rabetti GiannellaHDRio2018
Diante de milhares de fotografias, como tornar
este acervo mais explorável e compreensível?
Como entender os conteúdos semânticos
contidos nas imagens e como comparar ou
encontrar exemplos para um determinado
recorte geográfico ou temporal se não
manualmente?
Julia Rabetti GiannellaHDRio2018
PERGUNTA DE PARTIDA
UM PROBLEMA ENTRE DUAS ABORDAGENS
Julia Rabetti GiannellaHDRio2018
Computação
Social
Humanidades
Digitais
Objeto: redes sociais
Domina: observação
quantiativa, com foco 

nas generalizações 

e uso de tecnolgias de
reconhecimento de imagem
Objeto: Patrimônio cultural
Domina: observação
qualitativa, com foco nas
particularidades
Design
sanar a falta de interfaces
gráficas de usuário (GUI) para
investigar grandes coleções
fotográficas conjugando
tecnologias computacionais e
recursos para explorar, visualizar
e comparar o acervo
UM PROBLEMA ENTRE DUAS ABORDAGENS
Objeto: redes sociais
Domina: observação
quantiativa, com foco 

nas generalizações 

e uso de tecnolgias de
reconhecimento de imagem
Objeto: Patrimônio cultural
Domina: observação
qualitativa, com foco nas
particularidades
Julia Rabetti GiannellaHDRio2018
Computação
Social
Humanidades
Digitais
DISCUSSÕES PARA O CAMPO DAS HDs
1. Investigação de grandes coleções de imagens (fotografias,
pinturas, ilustrações, vídeos, GIFs, etc) recorrendo a
técnicas de reconhecimento de imagem derivadas de
Aprendizagem de Máquina (Machine Learning);
2. Valorização de textos e mídias produzidas em redes sociais
como patrimônio cultural relevante para as HDs;
3. Integração de princípios e metodologias do Design (HCI e
visualização) na construção de ferramentas para recuperar,
explorar e visualizar imagens.
Julia Rabetti GiannellaHDRio2018
interfaces tradicionais (sistemas de recuperação de informação)
Europeana Collections
https://www.europeana.eu/portal/en
ACERVOS DE IMAGEM E GUI
Julia Rabetti GiannellaHDRio2018
Brasiliana Fotográfica
http://brasilianafotografica.bn.br/
Photogrammar - Trabalho apresentado no DH2016
http://photogrammar.yale.edu/
Julia Rabetti GiannellaHDRio2018
interfaces com técnicas de visualização da informação
ACERVOS DE IMAGEM E GUI
Julia Rabetti GiannellaHDRio2018
interfaces com técnicas de visualização de mídia e processamento de imagem
para extração de cor média
ACERVOS DE IMAGEM E GUI
New York Public Library Visualization Tool
http://publicdomain.nypl.org/pd-visualization/
Julia Rabetti GiannellaHDRio2018
GIANNELLA, J.; VELHO (2017). ObservatóR!O2016: Exploring Rio-2016 image dataset throughDeep Learning and visualization
techniques (DH2017, Montreal)
http://lvelho.impa.br/dl_rio2016/index.html
interfaces com técnicas de visualização de mídia e visão computacional para
reconhecimento de objeto (tocha olímpica)
ACERVOS DE IMAGEM E GUI
LIMITAÇÕES TECNOLÓGICAS SUPERADAS
Julia Rabetti GiannellaHDRio2018
https://xkcd.com/1425/ (Junho, 2014)
propriedades como 

cor, brilho, textura
reconhecimento de
objetos, cenas e pessoas

dimensão SEMÂNTICA
contribui para avançar o estado da arte da extração de características de
imagen por meio do desenvolvimento e avaliação de algoritmos
VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018
propriedades como 

cor, brilho, textura
reconhecimento de
objetos, cenas e pessoas

dimensão SEMÂNTICA
Aprendizado
de Máquina
Redes
Neurais
Convolucionais
VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018
HDs E VISÃO COMPUTACIONAL
Julia Rabetti GiannellaHDRio2018
Computer Vision in Digital Humanties Workshop - DH2017 (Montreal)
https://avindhsig.wordpress.com/workshop-2017-montreal/
- 1 palestra principal
- 8 apresentações de trabalho
- 9 lightening talks
- 1 prática envolvendo Deep Learning
THOMEE et al, 2015. YFCC100M: The New Data in Multimedia Research
Yahoo Flickr Creative Commons 100 Million Dataset
maior coleção multimídia pública já lançada para fins de pesquisa
compreendendo ~ 100M de objetos de mídia (2004 - 2014)
OBJETO DE INVESTIGAÇÃO: COLEÇÃO YFCC100M
Julia Rabetti GiannellaHDRio2018
Abordagem-método para analisar grandes conjuntos de dados
culturais usando técnicas computacionais e técnicas de visualização
ANALÍTICA CULTURAL (Lev Manovich)
Julia Rabetti GiannellaHDRio2018
1. Domínio: culturas visuais-fotográficas de diferentes
cidades a partir de registros georreferenciados
2. Objeto: a coleção YFCC100M
3. Características: geo-espaciais, temporais e semânticas
4. Visualização de mídia: espaços de representação para
recuperar, visualizar e comparar imagens
MANOVICH, 2015. Data science and digital art history
MODELAGEM DAS CARACTERÍSTICAS
Julia Rabetti GiannellaHDRio2018
1. Que características aparecem nas fotografias e quais
são relevantes para estudar a dimensão cultural
desse acervo?
Lugar
Onde a foto

foi tirada
Quando
Quando a foto 

foi tirada
Semântica
Que conteúdos,
objetos e cenas 

estão contidos 

nas fotos
metadados fornecidos pela câmera propriedades extraídas pela máquina
por meio de 1.570 autotags -> Flickr Vision team
ANÁLISE SEMÂNTICA
Julia Rabetti GiannellaHDRio2018
MMC search: http://search.mmcommons.org/
RECORTE
Julia Rabetti GiannellaHDRio2018
As sete capitais brasileiras com mais fotografias na coleção
São Paulo
242 363
Rio de Janeiro
112 287
Salvador
47 392
Porto Alegre
44 617
Brasília
22 276
Florianópolis
15 493
Belo Horizonte
11 457
465 885 fotografias
DISTRIBUIÇÃO SEMÂNTICA
Julia Rabetti GiannellaHDRio2018
indoor: 88 577
outdoor: 78 614
people: 51 741
nature: 35 537
architecture: 29 066
sport: 23 355
art: 22 413
text: 20 075
plant: 18 470
monochrome: 18 246
landscape: 16 997
vehicle: 16 681
surreal: 16 661
music: 16 579
food: 16 575
black: 16 410
photo border: 16 346
blackandwhite: 16 114
building: 15 486
performer: 14 861
outdoor: 64 259
nature: 32 374
indoor: 28 571
landscape: 23 361
people: 21 687
architecture: 18 154
water: 16 994
sport: 16 425
shore: 13 401
vehicle: 12 964
seaside: 10 490
art: 9 536
plant: 9 258
building: 9 084
coast: 8 747
text: 8 518
lake: 8 498
slope:8 400
mountain: 74 71
beach: 72 58
overalls: 2
anemone: 2
scallop: 2
feverfew: 2
bactrian camel: 2
sorrel horse:2
meadow cranesbill: 2
buck: 2
dik-dik: 2
elk: 2
new england aster: 2
fly agaric: 2
briefcase: 2
peacock butterfly: 2
gaillardia: 1
chicory: 1
glacier lily: 1
cornflower: 1
nigella: 1
spur gear: 1
chaetodon: 6
brain coral: 5
chest of drawers: 5
gnu: 5
jackal: 4
coltsfoot: 4
whale shark: 4
sea trout: 4
buck: 4
ram: 4
common spotted orchid: 3
chicory: 3
new england aster: 3
clipper ship: 2
water vole: 2
nigella: 2
dik-dik: 2
yacht: 2
gazelle: 2
peacock butterfly: 2
São Paulo
20 + citadas
Rio de Janeiro
20 - citadas 20 + citadas 20 - citadas
INQUIETAÇÕES E DESAFIOS
Julia Rabetti GiannellaHDRio2018
1. Existe espaço para uma curadoria semântica da máquina
e até que ponto podemos utilizá-la para refletir sobre um
domínio de análise a partir da perspectiva das
Humanidades Digitais;
2. Como lidar com a descontinuidade semântica entre a
cognição do homem e da máquina;
3. Deveríamos pensar a curadoria da máquina conjugada
com outras estratégias de taxonomia (folkosonomia?);
4. Como construir GUIs que integrem objetos de mídia e
suas características (temporais, espaciais e semânticas)
de maneira a potencializar a experiência de consulta,
exploração, comparação e visualização do acervo.
BLOG | MediaScopium: computer vision, information design e new media
Julia Rabetti GiannellaHDRio2018
https://www.visgraf.impa.br/mediascopium/
OBRIGADA!
juliagiannella@gmail.com
@juliagiannella

Mais conteúdo relacionado

Semelhante a Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais

HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
Camila Hamdan
 
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
Patri_lab UFES
 
Modelo de plano do projeto comunitário
Modelo de plano do projeto comunitárioModelo de plano do projeto comunitário
Modelo de plano do projeto comunitário
Eulália Mata
 
Organização e manutenção do acervo fotográfico da Revista do Globo
Organização e manutenção do acervo fotográfico da Revista do GloboOrganização e manutenção do acervo fotográfico da Revista do Globo
Organização e manutenção do acervo fotográfico da Revista do Globo
+ Aloisio Magalhães
 
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
angcosta
 
Projeto de aprendizagem
Projeto de aprendizagemProjeto de aprendizagem
Projeto de aprendizagem
Cristianajc
 
Apresentação do Plano de Investigação
Apresentação do Plano de InvestigaçãoApresentação do Plano de Investigação
Apresentação do Plano de Investigação
angcosta
 
Apresentação do Plano de Investigação
Apresentação do Plano de InvestigaçãoApresentação do Plano de Investigação
Apresentação do Plano de Investigação
angcosta
 

Semelhante a Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais (20)

ARTES - TECNOLOGIA .pptx
ARTES - TECNOLOGIA .pptxARTES - TECNOLOGIA .pptx
ARTES - TECNOLOGIA .pptx
 
Apresentação Caminho dos Vagalumes - TCP 4
Apresentação Caminho dos Vagalumes - TCP 4Apresentação Caminho dos Vagalumes - TCP 4
Apresentação Caminho dos Vagalumes - TCP 4
 
Segmentação de imagens de Arte Rupestre utilizando o Sistema de Coordenadas E...
Segmentação de imagens de Arte Rupestre utilizando o Sistema de Coordenadas E...Segmentação de imagens de Arte Rupestre utilizando o Sistema de Coordenadas E...
Segmentação de imagens de Arte Rupestre utilizando o Sistema de Coordenadas E...
 
HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
HAMDAN, Camila. E.U.R.O.P.E: Uma proposta de videoarte interativa flexibiliza...
 
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
Prppg edital ic_2011_2012_relatórioparcial_irlanperini_fev.2012
 
Visualização e análise espacial nas humanidades: o que ganhamos, o que perdemos?
Visualização e análise espacial nas humanidades: o que ganhamos, o que perdemos?Visualização e análise espacial nas humanidades: o que ganhamos, o que perdemos?
Visualização e análise espacial nas humanidades: o que ganhamos, o que perdemos?
 
Modelo de plano do projeto comunitário
Modelo de plano do projeto comunitárioModelo de plano do projeto comunitário
Modelo de plano do projeto comunitário
 
Cidade Velha
Cidade VelhaCidade Velha
Cidade Velha
 
Organização e manutenção do acervo fotográfico da Revista do Globo
Organização e manutenção do acervo fotográfico da Revista do GloboOrganização e manutenção do acervo fotográfico da Revista do Globo
Organização e manutenção do acervo fotográfico da Revista do Globo
 
Projeto Gráfico Exposição - Elementos de design ambiental
Projeto Gráfico Exposição - Elementos de design ambientalProjeto Gráfico Exposição - Elementos de design ambiental
Projeto Gráfico Exposição - Elementos de design ambiental
 
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
Defesa dissertação mestrado- Contributo de Mashups Web 2.0 para a construção ...
 
Projeto de aprendizagem
Projeto de aprendizagemProjeto de aprendizagem
Projeto de aprendizagem
 
Conceituação e método projetual em arquitetura.pptx
Conceituação e método projetual em arquitetura.pptxConceituação e método projetual em arquitetura.pptx
Conceituação e método projetual em arquitetura.pptx
 
Caderno de TFG -Cidade para Pessoas Projeto de Urbanismo Visando a Caminhabil...
Caderno de TFG -Cidade para Pessoas Projeto de Urbanismo Visando a Caminhabil...Caderno de TFG -Cidade para Pessoas Projeto de Urbanismo Visando a Caminhabil...
Caderno de TFG -Cidade para Pessoas Projeto de Urbanismo Visando a Caminhabil...
 
Apresentação do Plano de Investigação
Apresentação do Plano de InvestigaçãoApresentação do Plano de Investigação
Apresentação do Plano de Investigação
 
Apresentação do Plano de Investigação
Apresentação do Plano de InvestigaçãoApresentação do Plano de Investigação
Apresentação do Plano de Investigação
 
Geotecnologias - Conceitos e Histórico
Geotecnologias - Conceitos e HistóricoGeotecnologias - Conceitos e Histórico
Geotecnologias - Conceitos e Histórico
 
Kit do Mar
Kit do MarKit do Mar
Kit do Mar
 
Apresentação CBBD 2019 Realidade Aumentada em Bibliotecas - David Vieira
Apresentação CBBD 2019 Realidade Aumentada em Bibliotecas - David VieiraApresentação CBBD 2019 Realidade Aumentada em Bibliotecas - David Vieira
Apresentação CBBD 2019 Realidade Aumentada em Bibliotecas - David Vieira
 
MARCELACROSMAN-obras-maio2022 .pdf
MARCELACROSMAN-obras-maio2022 .pdfMARCELACROSMAN-obras-maio2022 .pdf
MARCELACROSMAN-obras-maio2022 .pdf
 

Mais de Júlia Rabetti Giannella

Dispositivo infovis: interfaces entre visualização da informação, infografia ...
Dispositivo infovis: interfaces entre visualização da informação, infografia ...Dispositivo infovis: interfaces entre visualização da informação, infografia ...
Dispositivo infovis: interfaces entre visualização da informação, infografia ...
Júlia Rabetti Giannella
 

Mais de Júlia Rabetti Giannella (9)

Hands-on activity on Data Visualization
Hands-on activity on Data VisualizationHands-on activity on Data Visualization
Hands-on activity on Data Visualization
 
ObsevartóR!O2016 - interseções entre arte e técnicas de Deep Learning
ObsevartóR!O2016 - interseções entre arte e técnicas de Deep LearningObsevartóR!O2016 - interseções entre arte e técnicas de Deep Learning
ObsevartóR!O2016 - interseções entre arte e técnicas de Deep Learning
 
Dataviz, Twitter e #Rio2016: percepção dos dados olímpicos
Dataviz, Twitter e #Rio2016: percepção dos dados olímpicosDataviz, Twitter e #Rio2016: percepção dos dados olímpicos
Dataviz, Twitter e #Rio2016: percepção dos dados olímpicos
 
Deep Learning applications
Deep Learning applicationsDeep Learning applications
Deep Learning applications
 
Rio 2016 Contestation Images: a critical perception from content collected on...
Rio 2016 Contestation Images: a critical perception from content collected on...Rio 2016 Contestation Images: a critical perception from content collected on...
Rio 2016 Contestation Images: a critical perception from content collected on...
 
Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through d...
Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through d...Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through d...
Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through d...
 
Data visualization: advances by brazilian researches
Data visualization: advances by brazilian researches Data visualization: advances by brazilian researches
Data visualization: advances by brazilian researches
 
Design e interfaces cartográficas: avanços para pesquisa e atuação profissional
Design e interfaces cartográficas: avanços para pesquisa e atuação profissionalDesign e interfaces cartográficas: avanços para pesquisa e atuação profissional
Design e interfaces cartográficas: avanços para pesquisa e atuação profissional
 
Dispositivo infovis: interfaces entre visualização da informação, infografia ...
Dispositivo infovis: interfaces entre visualização da informação, infografia ...Dispositivo infovis: interfaces entre visualização da informação, infografia ...
Dispositivo infovis: interfaces entre visualização da informação, infografia ...
 

Último

Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Dirceu Resende
 

Último (9)

Entrevistas, artigos, livros & citações de Paulo Pagliusi
Entrevistas, artigos, livros & citações de Paulo PagliusiEntrevistas, artigos, livros & citações de Paulo Pagliusi
Entrevistas, artigos, livros & citações de Paulo Pagliusi
 
Apostila e caderno de exercicios de WORD
Apostila e caderno de exercicios de  WORDApostila e caderno de exercicios de  WORD
Apostila e caderno de exercicios de WORD
 
EAD Curso - CIÊNCIA DE DADOS NA INDÚSTTRIA
EAD Curso - CIÊNCIA DE DADOS NA INDÚSTTRIAEAD Curso - CIÊNCIA DE DADOS NA INDÚSTTRIA
EAD Curso - CIÊNCIA DE DADOS NA INDÚSTTRIA
 
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
Apresentação Power Embedded - Descubra uma nova forma de compartilhar relatór...
 
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdfFrom_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
From_SEH_Overwrite_with_Egg_Hunter_to_Get_a_Shell_PT-BR.pdf
 
COI CENTRO DE OPERAÇÕES INDUSTRIAIS NAS USINAS
COI CENTRO DE OPERAÇÕES INDUSTRIAIS NAS USINASCOI CENTRO DE OPERAÇÕES INDUSTRIAIS NAS USINAS
COI CENTRO DE OPERAÇÕES INDUSTRIAIS NAS USINAS
 
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
[ServiceNow] Upgrade de versão - 2ª edição (Revisada, atualizada e ampliada)
 
Palestras sobre Cibersegurança em Eventos - Paulo Pagliusi
Palestras sobre Cibersegurança em Eventos - Paulo PagliusiPalestras sobre Cibersegurança em Eventos - Paulo Pagliusi
Palestras sobre Cibersegurança em Eventos - Paulo Pagliusi
 
O futuro e o impacto da tecnologia nas salas de aulas
O futuro e o impacto da tecnologia  nas salas de aulasO futuro e o impacto da tecnologia  nas salas de aulas
O futuro e o impacto da tecnologia nas salas de aulas
 

Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais

  • 1. Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais Júlia Rabetti Giannella @juliagiannella juliagiannella@gmail.com
  • 2. Doutorado em Design e Tecnologia PPDESDI - UERJ Assistente de pesquisa Visgraf - IMPA LUGAR DE FALA Julia Rabetti GiannellaHDRio2018
  • 3. Diante de milhares de fotografias, como tornar este acervo mais explorável e compreensível? Como entender os conteúdos semânticos contidos nas imagens e como comparar ou encontrar exemplos para um determinado recorte geográfico ou temporal se não manualmente? Julia Rabetti GiannellaHDRio2018 PERGUNTA DE PARTIDA
  • 4. UM PROBLEMA ENTRE DUAS ABORDAGENS Julia Rabetti GiannellaHDRio2018 Computação Social Humanidades Digitais Objeto: redes sociais Domina: observação quantiativa, com foco 
 nas generalizações 
 e uso de tecnolgias de reconhecimento de imagem Objeto: Patrimônio cultural Domina: observação qualitativa, com foco nas particularidades
  • 5. Design sanar a falta de interfaces gráficas de usuário (GUI) para investigar grandes coleções fotográficas conjugando tecnologias computacionais e recursos para explorar, visualizar e comparar o acervo UM PROBLEMA ENTRE DUAS ABORDAGENS Objeto: redes sociais Domina: observação quantiativa, com foco 
 nas generalizações 
 e uso de tecnolgias de reconhecimento de imagem Objeto: Patrimônio cultural Domina: observação qualitativa, com foco nas particularidades Julia Rabetti GiannellaHDRio2018 Computação Social Humanidades Digitais
  • 6. DISCUSSÕES PARA O CAMPO DAS HDs 1. Investigação de grandes coleções de imagens (fotografias, pinturas, ilustrações, vídeos, GIFs, etc) recorrendo a técnicas de reconhecimento de imagem derivadas de Aprendizagem de Máquina (Machine Learning); 2. Valorização de textos e mídias produzidas em redes sociais como patrimônio cultural relevante para as HDs; 3. Integração de princípios e metodologias do Design (HCI e visualização) na construção de ferramentas para recuperar, explorar e visualizar imagens. Julia Rabetti GiannellaHDRio2018
  • 7. interfaces tradicionais (sistemas de recuperação de informação) Europeana Collections https://www.europeana.eu/portal/en ACERVOS DE IMAGEM E GUI Julia Rabetti GiannellaHDRio2018 Brasiliana Fotográfica http://brasilianafotografica.bn.br/
  • 8. Photogrammar - Trabalho apresentado no DH2016 http://photogrammar.yale.edu/ Julia Rabetti GiannellaHDRio2018 interfaces com técnicas de visualização da informação ACERVOS DE IMAGEM E GUI
  • 9. Julia Rabetti GiannellaHDRio2018 interfaces com técnicas de visualização de mídia e processamento de imagem para extração de cor média ACERVOS DE IMAGEM E GUI New York Public Library Visualization Tool http://publicdomain.nypl.org/pd-visualization/
  • 10. Julia Rabetti GiannellaHDRio2018 GIANNELLA, J.; VELHO (2017). ObservatóR!O2016: Exploring Rio-2016 image dataset throughDeep Learning and visualization techniques (DH2017, Montreal) http://lvelho.impa.br/dl_rio2016/index.html interfaces com técnicas de visualização de mídia e visão computacional para reconhecimento de objeto (tocha olímpica) ACERVOS DE IMAGEM E GUI
  • 11. LIMITAÇÕES TECNOLÓGICAS SUPERADAS Julia Rabetti GiannellaHDRio2018 https://xkcd.com/1425/ (Junho, 2014)
  • 12. propriedades como cor, brilho, textura reconhecimento de objetos, cenas e pessoas dimensão SEMÂNTICA contribui para avançar o estado da arte da extração de características de imagen por meio do desenvolvimento e avaliação de algoritmos VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018
  • 13. propriedades como cor, brilho, textura reconhecimento de objetos, cenas e pessoas dimensão SEMÂNTICA Aprendizado de Máquina Redes Neurais Convolucionais VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018
  • 14. HDs E VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018 Computer Vision in Digital Humanties Workshop - DH2017 (Montreal) https://avindhsig.wordpress.com/workshop-2017-montreal/ - 1 palestra principal - 8 apresentações de trabalho - 9 lightening talks - 1 prática envolvendo Deep Learning
  • 15. THOMEE et al, 2015. YFCC100M: The New Data in Multimedia Research Yahoo Flickr Creative Commons 100 Million Dataset maior coleção multimídia pública já lançada para fins de pesquisa compreendendo ~ 100M de objetos de mídia (2004 - 2014) OBJETO DE INVESTIGAÇÃO: COLEÇÃO YFCC100M Julia Rabetti GiannellaHDRio2018
  • 16. Abordagem-método para analisar grandes conjuntos de dados culturais usando técnicas computacionais e técnicas de visualização ANALÍTICA CULTURAL (Lev Manovich) Julia Rabetti GiannellaHDRio2018 1. Domínio: culturas visuais-fotográficas de diferentes cidades a partir de registros georreferenciados 2. Objeto: a coleção YFCC100M 3. Características: geo-espaciais, temporais e semânticas 4. Visualização de mídia: espaços de representação para recuperar, visualizar e comparar imagens MANOVICH, 2015. Data science and digital art history
  • 17. MODELAGEM DAS CARACTERÍSTICAS Julia Rabetti GiannellaHDRio2018 1. Que características aparecem nas fotografias e quais são relevantes para estudar a dimensão cultural desse acervo? Lugar Onde a foto foi tirada Quando Quando a foto foi tirada Semântica Que conteúdos, objetos e cenas estão contidos nas fotos metadados fornecidos pela câmera propriedades extraídas pela máquina
  • 18. por meio de 1.570 autotags -> Flickr Vision team ANÁLISE SEMÂNTICA Julia Rabetti GiannellaHDRio2018 MMC search: http://search.mmcommons.org/
  • 19. RECORTE Julia Rabetti GiannellaHDRio2018 As sete capitais brasileiras com mais fotografias na coleção São Paulo 242 363 Rio de Janeiro 112 287 Salvador 47 392 Porto Alegre 44 617 Brasília 22 276 Florianópolis 15 493 Belo Horizonte 11 457 465 885 fotografias
  • 20. DISTRIBUIÇÃO SEMÂNTICA Julia Rabetti GiannellaHDRio2018 indoor: 88 577 outdoor: 78 614 people: 51 741 nature: 35 537 architecture: 29 066 sport: 23 355 art: 22 413 text: 20 075 plant: 18 470 monochrome: 18 246 landscape: 16 997 vehicle: 16 681 surreal: 16 661 music: 16 579 food: 16 575 black: 16 410 photo border: 16 346 blackandwhite: 16 114 building: 15 486 performer: 14 861 outdoor: 64 259 nature: 32 374 indoor: 28 571 landscape: 23 361 people: 21 687 architecture: 18 154 water: 16 994 sport: 16 425 shore: 13 401 vehicle: 12 964 seaside: 10 490 art: 9 536 plant: 9 258 building: 9 084 coast: 8 747 text: 8 518 lake: 8 498 slope:8 400 mountain: 74 71 beach: 72 58 overalls: 2 anemone: 2 scallop: 2 feverfew: 2 bactrian camel: 2 sorrel horse:2 meadow cranesbill: 2 buck: 2 dik-dik: 2 elk: 2 new england aster: 2 fly agaric: 2 briefcase: 2 peacock butterfly: 2 gaillardia: 1 chicory: 1 glacier lily: 1 cornflower: 1 nigella: 1 spur gear: 1 chaetodon: 6 brain coral: 5 chest of drawers: 5 gnu: 5 jackal: 4 coltsfoot: 4 whale shark: 4 sea trout: 4 buck: 4 ram: 4 common spotted orchid: 3 chicory: 3 new england aster: 3 clipper ship: 2 water vole: 2 nigella: 2 dik-dik: 2 yacht: 2 gazelle: 2 peacock butterfly: 2 São Paulo 20 + citadas Rio de Janeiro 20 - citadas 20 + citadas 20 - citadas
  • 21. INQUIETAÇÕES E DESAFIOS Julia Rabetti GiannellaHDRio2018 1. Existe espaço para uma curadoria semântica da máquina e até que ponto podemos utilizá-la para refletir sobre um domínio de análise a partir da perspectiva das Humanidades Digitais; 2. Como lidar com a descontinuidade semântica entre a cognição do homem e da máquina; 3. Deveríamos pensar a curadoria da máquina conjugada com outras estratégias de taxonomia (folkosonomia?); 4. Como construir GUIs que integrem objetos de mídia e suas características (temporais, espaciais e semânticas) de maneira a potencializar a experiência de consulta, exploração, comparação e visualização do acervo.
  • 22. BLOG | MediaScopium: computer vision, information design e new media Julia Rabetti GiannellaHDRio2018 https://www.visgraf.impa.br/mediascopium/