perceptions of olympics through dataviz and deep learning
Júlia Rabetti Giannella
@juliagiannella
juliagiannella@gmail.com...
OVERVIEW
• PART 1
OBSERVATÓR!O2016
• PART 2
Unfolding research: Deep Learning experiences on Rio-2016
OBSERVAT R!O2016 | J...
• Vision and Graphics Laboratory at IMPA, Rio de Janeiro
visgraf.impa.br
visgraflab
visgraflab
OBSERVATÓR!O2016 | Julia Gian...
PART 1
OBSERVATOR!O2016
http://oo.impa.br
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
X-RAY
• March 2016 - December 2016
• VISGRAF team
• Products / publications
4 websites
1 blog + 1 twitter
5 presentations
...
THE BEGINNING
interests
• human activities from 

the perspective of 

digital footprints
• design as a tool for
comprehen...
DIGITAL
FOOTPRINTS
SOURCE
• cellular network activity
• credit card transactions
• apps and websites usage
• user generate...
SOURCE APPLICATIONS
Twitter media 

(images and text)
investigate the online
debate about Rio 2016
how the Olympics are
pe...
IT FRAMEWORK
• identify and represent the plurality of perceptions about Rio 2016
OBSERVATÓR!O2016 | Julia Giannella & Lui...
DATA COLLECTION
• Twitter API
- via REST Queries
- via Streaming
• Scripts
- Python
OBSERVATÓR!O2016 | Julia Giannella & L...
MODELING
• Categories
- Rio-2016 aspects
• Filters (Tweet)
- User
- User mention
- Hashtag
- Text
- Time
OBSERVATÓR!O2016 ...
STORAGE
• Database
- Raw
- OO
• Stratification
- Different levels
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf,...
SOFTWARE ARCHITECTURE
• Server
- Django / Mezzanine
• Client
- HTML 5 / CSS
- Javascript
OBSERVATÓR!O2016 | Julia Giannell...
VISUALIZATION
• Specific aspects
• Diferent frameworks
- D3.js
• Refining visual
aspects and
interaction
OBSERVATÓR!O2016 | ...
QUESTIONS
? ?
?
associations
temporalities
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
DEPLOYMENT
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
DEPLOYMENT
beta
1.0
2.0
3.0
PAINEL DE TWEETS GALERIA DE IMAGENS ANÁLISE DE SENTIMENTO
TOUR DA TOCHA OLHARES CONTROVERSOS
M...
TWITTER
LISTAS
MOMENTS
BUSCA AVANÇADA
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
TWEET PANEL LINHA DO TEMPO
(temporalidades)
GRUPOS
(associações)
LINKHASHTAG USER MENTION
Source: http://oo.impa.br/dtweet...
IMAGE PANEL
Source: http://oo.impa.br/dimagens/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
GROUPS OF ASSOCIATION
27 USUÁRIOS 100 HASHTAGS 66 HASHTAGS
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)...
CONTROVERSIES (1st sketch)
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
CONTROVERSIES (2nd sketch)
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
CONTROVERSIES
Source: http://oo.impa.br/prenoms/#rio2016-1 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
THEMES
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
THEMES IDENTIFICATION
Source: http://oo.impa.br/temas_info/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
THEMES
Source: http://oo.impa.br/temas/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
PART 2
DEEP LEARNING AND RIO-2016
visgraf.impa.br/dl_rio2016
180k images
DEEP LEARNING
Source: https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-de...
APPLICATIONS
• Colorization of Black and White Images
• Adding Sounds To Silent Movies
• Image Classification and Object re...
1) IMAGE CLASSIFICATION
• task: automatically classify and cluster images by subject
features related to the Olympic Games...
confidence score
Source: http://lvelho.impa.br/dl_rio2016/metodologia.html
A subset of 12
from 2091
images with
confidence
...
torch mosaic
Source: http://lvelho.impa.br/dl_rio2016/mosaico.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgra...
torch mosaic
Source: http://lvelho.impa.br/dl_rio2016/mosaico.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgra...
sport categories
• Beach Volleyball
• Cycling
• Fencing
• Soccer
• Gymnastics
• Judo
• Golf
• Basketball
• Sailing
• Tenni...
confidence score
Source: http://lvelho.impa.br/dl_rio2016/metodologia.html
A subset of
images with
confidence
score over 83...
2) AUTOMATIC SLIDESHOW GENERATION
• app Photos in iOS 10
• feature Memories
Place
Time
Face, object and
scene recognition
...
2) AUTOMATIC SLIDESHOW GENERATION
Source: http://lvelho.impa.br/dl_rio2016/metodologia.html
OBSERVATÓR!O2016 | Julia Giann...
video sphere
Source: http://lvelho.impa.br/dl_rio2016/videos.php OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf,...
video sphere
Source: http://lvelho.impa.br/dl_rio2016/resources/cycling.mp4
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velh...
3) ARTISTIC STYLE TRANSFER
• task: separate and recombine content and style of arbitrary
images, providing a neural algori...
Prisma app
Source: http://prisma-ai.com/
Rua Guaicuí
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
Prisma app
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
sound impressions
Source: http://lvelho.impa.br/dl_rio2016/som.html
OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgr...
INDISCIPLINAS
Experiencias: Deep Learning, #Rio2016, Midiarte
Presentation of video projections at Casa Franca-Brasil
Sour...
SUMMER PROGRAM AT IMPA
Source: http://lvelho.impa.br/tour360/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IM...
OBRIGADX!
juliagiannella@gmail.com
@juliagiannella
lvelho@impa.com
@lvelho
Próximos SlideShares
Carregando em…5
×

Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through dataviz and deep learning

297 visualizações

Publicada em

Nesta palestra vamos discutir a concepção e desenvolvimento do ObservatóR!O2016, um projeto interessado em coletar, estruturar e visualizar o heterogêneo debate em torno dos Jogos Olímpicos através de dados coletados das redes sociais.
Dedicaremos a primeira parte da palestra para contar sobre nosso processo de criação, abordando desde a infraestrutura para coleta e armazenamento de tweets e imagens até as decisões projetuais para design do site (http://oo.impa.br) e das visualizações de dados.
Na segunda parte, apresentaremos um desdobramento da nossa pesquisa que envolve técnicas inovadoras da visão computacional. Iremos falar sobre como utilizamos técnicas de deep Learning para analisar e classificar as imagens da Rio-2016 para depois remixá-las em novos produtos audiovisuais.
Esse projeto foi realizado por uma equipe multidisciplinar que trabalha no VISGRAF-IMPA e empreende pesquisas na fronteira entre Design, Computação, Arte e Matemática.

Publicada em: Design
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
297
No SlideShare
0
A partir de incorporações
0
Número de incorporações
115
Ações
Compartilhamentos
0
Downloads
2
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Campus Party Brasil 2017: OBSERVATÓR!O2016: perceptions of olympics through dataviz and deep learning

  1. 1. perceptions of olympics through dataviz and deep learning Júlia Rabetti Giannella @juliagiannella juliagiannella@gmail.com Luiz Velho @lvelho lvelho@impa.br
  2. 2. OVERVIEW • PART 1 OBSERVATÓR!O2016 • PART 2 Unfolding research: Deep Learning experiences on Rio-2016 OBSERVAT R!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  3. 3. • Vision and Graphics Laboratory at IMPA, Rio de Janeiro visgraf.impa.br visgraflab visgraflab OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  4. 4. PART 1 OBSERVATOR!O2016
  5. 5. http://oo.impa.br OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  6. 6. X-RAY • March 2016 - December 2016 • VISGRAF team • Products / publications 4 websites 1 blog + 1 twitter 5 presentations 1 technical report 1 digital publication 2 artistic exhibitions OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  7. 7. THE BEGINNING interests • human activities from 
 the perspective of 
 digital footprints • design as a tool for comprehension of data through visualizations visgraf • mathematical models / creation of computational applications • New media / information and communication technologies OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  8. 8. DIGITAL FOOTPRINTS SOURCE • cellular network activity • credit card transactions • apps and websites usage • user generated content • sensor technology (IoT) APPLICATIONS • marketing digital • urban planning • public policies (health, security) • data art • media studies OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  9. 9. SOURCE APPLICATIONS Twitter media 
 (images and text) investigate the online debate about Rio 2016 how the Olympics are perceived and shared in social networks? OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  10. 10. IT FRAMEWORK • identify and represent the plurality of perceptions about Rio 2016 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  11. 11. DATA COLLECTION • Twitter API - via REST Queries - via Streaming • Scripts - Python OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  12. 12. MODELING • Categories - Rio-2016 aspects • Filters (Tweet) - User - User mention - Hashtag - Text - Time OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  13. 13. STORAGE • Database - Raw - OO • Stratification - Different levels OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  14. 14. SOFTWARE ARCHITECTURE • Server - Django / Mezzanine • Client - HTML 5 / CSS - Javascript OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  15. 15. VISUALIZATION • Specific aspects • Diferent frameworks - D3.js • Refining visual aspects and interaction OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  16. 16. QUESTIONS ? ? ? associations temporalities OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  17. 17. DEPLOYMENT OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  18. 18. DEPLOYMENT beta 1.0 2.0 3.0 PAINEL DE TWEETS GALERIA DE IMAGENS ANÁLISE DE SENTIMENTO TOUR DA TOCHA OLHARES CONTROVERSOS MODALIDADES ESPORTIVAS RELAÇÕES PAÍS-ESPORTE MONITOR DE TEMAS MOSAICO DA TOCHA ATLETAS OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  19. 19. TWITTER LISTAS MOMENTS BUSCA AVANÇADA OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  20. 20. TWEET PANEL LINHA DO TEMPO (temporalidades) GRUPOS (associações) LINKHASHTAG USER MENTION Source: http://oo.impa.br/dtweet/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  21. 21. IMAGE PANEL Source: http://oo.impa.br/dimagens/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  22. 22. GROUPS OF ASSOCIATION 27 USUÁRIOS 100 HASHTAGS 66 HASHTAGS OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  23. 23. CONTROVERSIES (1st sketch) OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  24. 24. CONTROVERSIES (2nd sketch) OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  25. 25. CONTROVERSIES Source: http://oo.impa.br/prenoms/#rio2016-1 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  26. 26. THEMES OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  27. 27. THEMES IDENTIFICATION Source: http://oo.impa.br/temas_info/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  28. 28. THEMES Source: http://oo.impa.br/temas/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  29. 29. PART 2 DEEP LEARNING AND RIO-2016 visgraf.impa.br/dl_rio2016
  30. 30. 180k images
  31. 31. DEEP LEARNING Source: https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
  32. 32. APPLICATIONS • Colorization of Black and White Images • Adding Sounds To Silent Movies • Image Classification and Object recognition • Automatic Handwriting Generation • Automatic Video Generation • Character Text Generation • Image Caption Generation • Automatic Game Playing • Artistic Style Transfer OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  33. 33. 1) IMAGE CLASSIFICATION • task: automatically classify and cluster images by subject features related to the Olympic Games. Ex: Olympic Torch • CNN model • supervised learning (manually labeled 100 examples) • Inception-v3 CNN model • TensorFlow (open source software library) Source: https://arxiv.org/abs/1409.4842 Source: https://www.tensorflow.org/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  34. 34. confidence score Source: http://lvelho.impa.br/dl_rio2016/metodologia.html A subset of 12 from 2091 images with confidence score over 83% for the Olympic torch category CPBR10 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  35. 35. torch mosaic Source: http://lvelho.impa.br/dl_rio2016/mosaico.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  36. 36. torch mosaic Source: http://lvelho.impa.br/dl_rio2016/mosaico.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  37. 37. sport categories • Beach Volleyball • Cycling • Fencing • Soccer • Gymnastics • Judo • Golf • Basketball • Sailing • Tennis • Weightlifting • Equestrian • Field Hockey • Medals • Juan Martin Del Potro • Simone Biles OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  38. 38. confidence score Source: http://lvelho.impa.br/dl_rio2016/metodologia.html A subset of images with confidence score over 83% for the gymnastics category Training list OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  39. 39. 2) AUTOMATIC SLIDESHOW GENERATION • app Photos in iOS 10 • feature Memories Place Time Face, object and scene recognition select cluster sequence music rhythm transition pan effect OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  40. 40. 2) AUTOMATIC SLIDESHOW GENERATION Source: http://lvelho.impa.br/dl_rio2016/metodologia.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  41. 41. video sphere Source: http://lvelho.impa.br/dl_rio2016/videos.php OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  42. 42. video sphere Source: http://lvelho.impa.br/dl_rio2016/resources/cycling.mp4 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  43. 43. 3) ARTISTIC STYLE TRANSFER • task: separate and recombine content and style of arbitrary images, providing a neural algorithm for the creation of artistic images • A Neural Algorithm of Artistic Style (Gatys et al., 2015) • Artistic style transfer for videos (Ruder et al.,2016) Source: https://arxiv.org/abs/1508.06576 Source: https://arxiv.org/abs/1604.08610 Source: https://arxiv.org/abs/1610.07629 OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  44. 44. Prisma app Source: http://prisma-ai.com/ Rua Guaicuí OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  45. 45. Prisma app OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  46. 46. sound impressions Source: http://lvelho.impa.br/dl_rio2016/som.html OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  47. 47. INDISCIPLINAS Experiencias: Deep Learning, #Rio2016, Midiarte Presentation of video projections at Casa Franca-Brasil Source: http://lvelho.impa.br/dl_rio2016/indisciplinas.html Source: https://www.youtube.com/watch?v=kDDcKEq6U1s OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)CPBR10
  48. 48. SUMMER PROGRAM AT IMPA Source: http://lvelho.impa.br/tour360/ OBSERVATÓR!O2016 | Julia Giannella & Luiz Velho (Visgraf, IMPA)
  49. 49. OBRIGADX! juliagiannella@gmail.com @juliagiannella lvelho@impa.com @lvelho

×