SlideShare uma empresa Scribd logo
1 de 65
Baixar para ler offline
Szövegvizualizációk
a szófelhőkön túl
Szűcs Krisztina
data visualization
designer
@szucsi
Balogh Kitti
statisztikus, adatelemző
Varjú Zoltán
sszámítógépes nyelvész
Tartalom
Ha túl sok a szöveg - topik vizualizáció
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
A kulcsszavaktól a diszlexiáig
Szeretem a narancsot és az almát.
Reggelire müzlit és almát készítek.
A lamantinok és a kutyák aranyosak.
A kutyám tegnap megevett
egy narancsot a tállal együtt.
Nézd azt az aranyos sünit,
hogyan rágcsálja az almát!
narancs
alma
reggeli
0.18
0.15
0.09
kutya
aranyos
lamantin
...
0.26
0.15
0.12
TOPIK 1
TOPIK 2
TOPIK K
Ha túl sok a szöveg - topik vizualizáció
Látens Dirichlet allokáció (LDA)
outputinput
dokumentumok témaeloszlása
témák szóeloszlása
dokumentumok szavai
témák száma (K)
topikok/témák
kinyerése
Ha túl sok a szöveg - topik vizualizáció
Látens Dirichlet allokáció (LDA)
Ha túl sok a szöveg - topik vizualizáció
A kuruc.info Cigánybűnözés rovatának témái
gyűlöletbeszéd
romaellenes diskurzus, médiabeli romareprezentáció
10.304 db cikk, 27 romaellenes téma
szociológiai szakirodalommal összeegyeztethető
témastruktúra (Messing – Bernáth)
Ha túl sok a szöveg - topik vizualizáció
A kuruc.info Cigánybűnözés rovatának témái
A cikkek témái 2006-2015 (1-9. téma)
2008 2010 2012
0
topikarányok összege
az időszak cikkeiben
10
20
30
40
50
2014
2008 2010 2012
0
topikarányok összege
az időszak cikkeiben
10
20
30
2014
40
50
2008 2010 2012
0
topikarányok összege
az időszak cikkeiben
10
20
2014
40
50
30
2008 2010 2012
0
topikarányok
összege az
időszak
cikkeiben
10
20
30
40
50
2014
SZOCIÁLIS SEGÉLY, KÖZMUNKA
2008 2010 2012
0
topikarányok
összege az
időszak
cikkeiben
10
20
30
40
50
2014
SZOCIÁLIS SEGÉLY, KÖZMUNKA
2008 2010 2012
0
topikarányok
összege az
időszak
cikkeiben
10
20
30
40
50
2014
SZOCIÁLIS SEGÉLY, KÖZMUNKA
Kolompár Orbán
bírósági ügye
2008/09
Katapult Mentorprogramnál
történt szabálytalanságok
2009/03
Kolompár Orbán és
társainak bírósági ügye
2009/07
Kolompár Orbán és
társainak bírósági ügye
2009/10
ROMA ÖNKORMÁNYZAT, ÖNSZERVEZŐDÉS
2008 2010 2012
0
10
20
30
40
50
2014
Cozma-gyilkosság
2009/02
ROMA-NEM ROMA TÁRSADALMI PROBLÉMÁK, ELŐÍTÉLETESSÉG
2008 2010 2012
0
10
20
30
40
50
2014
Szebb Jövőért
Polgárőr Egyesület
elkezd járőrözni
Gyöngyöspatán
2011/03
Roma-nem roma
konfliktusok
Gyöngyöspatán
2011/04
SZEBB JÖVŐÉRT POLGÁRŐR EGYESÜLET ÉS GYÖNGYÖSPATA
2008 2010 2012
0
10
20
30
40
50
2014
labs.precognox.com/kurucinfo_adatviz/
Ha túl sok a szöveg - topik vizualizáció
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
politikai blogok és híroldalak
egymástól nem független
kommunikációja
kiindulás: kb. 70 magyar
politikai blog
szövegek legyűjtése
szövegekben lévő linkeken
továbbhaladva kirajzolódó
hálózat
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
A kisvilág-tulajdonság
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
A kisvilág-tulajdonság
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
A kisvilág-tulajdonság
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
A kisvilág-tulajdonság
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
érzelmek
racionalitása
szentiment- és
emóciószótárak
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Egymásba gabalyodva- a magyar politikai
blogszféra az érzelmek hálójában
Emóciók
Ha túl sok a szöveg - topik vizualizáció
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
szöveg: szavak hálózata
Zipf-eloszlás
kisvilág-tulajdonság
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szógráf példa
Zoli nagyon örül, mert Nóri elvitte végre krumplilángost enni.
A krumplilángos Zoli számára a legfinomabb kaja a világon és
reméli, hogy Nórinak is ízlett. Zoli és Nóri legközelebb nem
krumplilángost fog enni, hanem elmennek megnézni az új
Avengers filmet.
zoli nagyon örül mert nóri vinni végre krumplilángos enni a
krumplilángos zoli számára a finom kaja a világon és reméli hogy
nóri is ízleni zoli és nóri közel nem krumplilángos fog enni hanem
menni nézni az új avengers film
zoli nagyon
nagyon örül
örül mert
stb.
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szógráf példa
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szógráf példa - Wikipedia
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szógráf példa - Wikipedia
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szemantika
Magyar Wordnet
lexikális szemantikai adatbázis
skálafüggetlen, kisvilág
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Szóasszociáció
Agykapocs
többnyelvű, szóasszociációs adatbázis
skálafüggetlen, kisvilág
kognitív modell
A nyelv hálózati megközelítésben -
szemantika, szóasszociáció, nyelvfejlődés
Nyelvfejlődés
CHILDES, magyar nyelvű adatok,
17-36 hónapos kor
5 gyermek nyelvi gráfjai
szótárméret, fokszám, nyelvi
diverzitás az egymást követő
hónapokban
Kulcsszó-kinyerés
A kulcsszavaktól a diszlexiáig
szövegből készült szógráf legfontosabb
elemei → szöveg kulcsszavai
TextRank módosított változata
emberi értékelés: 7.6% teljesen releváns,
46.4% inkább releváns, 32.4% valamelyest
releváns, 13.2% inkább irreleváns, 0.4%
teljesen irreleváns
Diszlexia
A kulcsszavaktól a diszlexiáig
kulcsszavak kiemelése
szövegértés növelése olvasási
nehézségekkel küzdőknek
szóhálózat: diszlexiások által is
használt mind-maphez hasonlít
Diszlexia
A kulcsszavaktól a diszlexiáig
kulcsszókinyerő alkalmazás
böngésző plug-in kifejlesztése
eye-tracking kísérletek
kereses.blog.hu precognox.com
zoltan.varju@precognox.com kbalogh@precognox.com
@zoltanvarju/@varjuzoli
krisztinaszucs.com

Mais conteúdo relacionado

Destaque

Freecycle.org usability findings and recommendations
Freecycle.org usability findings and recommendationsFreecycle.org usability findings and recommendations
Freecycle.org usability findings and recommendationsJosephHowerton
 
Actividad 4 - Circuitos electricos
Actividad 4 - Circuitos electricosActividad 4 - Circuitos electricos
Actividad 4 - Circuitos electricoswilflores18
 
Что будет с Перлом?
Что будет с Перлом?Что будет с Перлом?
Что будет с Перлом?mayperl
 
Аліна Марусик "Конфлікти в команді і методи їх вирішення"
Аліна Марусик "Конфлікти в команді і методи їх вирішення"Аліна Марусик "Конфлікти в команді і методи їх вирішення"
Аліна Марусик "Конфлікти в команді і методи їх вирішення"Lviv Startup Club
 
人的高贵在灵魂
人的高贵在灵魂人的高贵在灵魂
人的高贵在灵魂He Yan
 
카지노를털어라『SX797』『СOM』인터넷바카라
카지노를털어라『SX797』『СOM』인터넷바카라카지노를털어라『SX797』『СOM』인터넷바카라
카지노를털어라『SX797』『СOM』인터넷바카라hijhfkjdsh
 
CloudStack Collab 2013 Keynote
CloudStack Collab 2013 KeynoteCloudStack Collab 2013 Keynote
CloudStack Collab 2013 KeynoteChip Childers
 
Universidad nacional de chimborazo 7
Universidad nacional de chimborazo 7Universidad nacional de chimborazo 7
Universidad nacional de chimborazo 7JAVIER CHACATER
 
International School Of Management How Social Media Plays A Major Role For M...
International School Of Management  How Social Media Plays A Major Role For M...International School Of Management  How Social Media Plays A Major Role For M...
International School Of Management How Social Media Plays A Major Role For M...Jeff Bullas
 
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!Saffire
 
Happiness+Culture Lab: Catalysts for Business Growth
Happiness+Culture Lab: Catalysts for Business GrowthHappiness+Culture Lab: Catalysts for Business Growth
Happiness+Culture Lab: Catalysts for Business GrowthAnthony Ware
 
Harley davidson
Harley davidsonHarley davidson
Harley davidsonSai Mahesh
 
Beyond the iPhone: Delivering Mobile Content & Services
Beyond the iPhone: Delivering Mobile Content & ServicesBeyond the iPhone: Delivering Mobile Content & Services
Beyond the iPhone: Delivering Mobile Content & ServicesDave Olsen
 

Destaque (17)

Freecycle.org usability findings and recommendations
Freecycle.org usability findings and recommendationsFreecycle.org usability findings and recommendations
Freecycle.org usability findings and recommendations
 
Actividad 4 - Circuitos electricos
Actividad 4 - Circuitos electricosActividad 4 - Circuitos electricos
Actividad 4 - Circuitos electricos
 
Что будет с Перлом?
Что будет с Перлом?Что будет с Перлом?
Что будет с Перлом?
 
Аліна Марусик "Конфлікти в команді і методи їх вирішення"
Аліна Марусик "Конфлікти в команді і методи їх вирішення"Аліна Марусик "Конфлікти в команді і методи їх вирішення"
Аліна Марусик "Конфлікти в команді і методи їх вирішення"
 
人的高贵在灵魂
人的高贵在灵魂人的高贵在灵魂
人的高贵在灵魂
 
카지노를털어라『SX797』『СOM』인터넷바카라
카지노를털어라『SX797』『СOM』인터넷바카라카지노를털어라『SX797』『СOM』인터넷바카라
카지노를털어라『SX797』『СOM』인터넷바카라
 
CloudStack Collab 2013 Keynote
CloudStack Collab 2013 KeynoteCloudStack Collab 2013 Keynote
CloudStack Collab 2013 Keynote
 
Universidad nacional de chimborazo 7
Universidad nacional de chimborazo 7Universidad nacional de chimborazo 7
Universidad nacional de chimborazo 7
 
International School Of Management How Social Media Plays A Major Role For M...
International School Of Management  How Social Media Plays A Major Role For M...International School Of Management  How Social Media Plays A Major Role For M...
International School Of Management How Social Media Plays A Major Role For M...
 
Acuerdo 018 de 2016
Acuerdo 018 de 2016Acuerdo 018 de 2016
Acuerdo 018 de 2016
 
Técnico Aplicador Europeo de Adhesivos (EAB)
Técnico Aplicador Europeo de Adhesivos (EAB)Técnico Aplicador Europeo de Adhesivos (EAB)
Técnico Aplicador Europeo de Adhesivos (EAB)
 
Alexa 110614173355-phpapp01 (1)
Alexa 110614173355-phpapp01 (1)Alexa 110614173355-phpapp01 (1)
Alexa 110614173355-phpapp01 (1)
 
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!
FFF Convention & IAFE Zone II Meeting - Ecommerce is easy - sell more online!
 
Happiness+Culture Lab: Catalysts for Business Growth
Happiness+Culture Lab: Catalysts for Business GrowthHappiness+Culture Lab: Catalysts for Business Growth
Happiness+Culture Lab: Catalysts for Business Growth
 
Harley davidson
Harley davidsonHarley davidson
Harley davidson
 
Beyond the iPhone: Delivering Mobile Content & Services
Beyond the iPhone: Delivering Mobile Content & ServicesBeyond the iPhone: Delivering Mobile Content & Services
Beyond the iPhone: Delivering Mobile Content & Services
 
Business Admin Technology Power Point
Business Admin Technology Power PointBusiness Admin Technology Power Point
Business Admin Technology Power Point
 

Mais de Zoltan Varju

NLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidNLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidZoltan Varju
 
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxNLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxZoltan Varju
 
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleNLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleZoltan Varju
 
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseBalogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseZoltan Varju
 
Szövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanSzövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanZoltan Varju
 
Szövegbányászat
SzövegbányászatSzövegbányászat
SzövegbányászatZoltan Varju
 
Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatZoltan Varju
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekZoltan Varju
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Zoltan Varju
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Zoltan Varju
 
Sorok között olvasni
Sorok között olvasniSorok között olvasni
Sorok között olvasniZoltan Varju
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Zoltan Varju
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaZoltan Varju
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeZoltan Varju
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezZoltan Varju
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Zoltan Varju
 
Miháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetMiháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetZoltan Varju
 
Ács Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakÁcs Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakZoltan Varju
 
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetSass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetZoltan Varju
 

Mais de Zoltan Varju (20)

NLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroidNLP meetup 2016.10.05 - Bódogh Attila: xdroid
NLP meetup 2016.10.05 - Bódogh Attila: xdroid
 
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: PrecognoxNLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
NLP meetup 2016.10.05 - Szabó Martina Katalin: Precognox
 
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: NeticleNLP meetup 2016.10.05 - Szekeres Péter: Neticle
NLP meetup 2016.10.05 - Szekeres Péter: Neticle
 
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzéseBalogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
Balogh Kitti - Varjú Zoltán: Magyar nyelvű tartalmak elemzése
 
Szövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatbanSzövegbányászat a gyakorlatban
Szövegbányászat a gyakorlatban
 
Szövegbányászat
SzövegbányászatSzövegbányászat
Szövegbányászat
 
Balogh Kitti: Szövegbányászat
Balogh Kitti: SzövegbányászatBalogh Kitti: Szövegbányászat
Balogh Kitti: Szövegbányászat
 
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzésekBalogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
Balogh Kitti: Politika a sorok között - Politikai témájú szövegelemzések
 
Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)Mókus (Koncsik Anita, Varjú Zoltán)
Mókus (Koncsik Anita, Varjú Zoltán)
 
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
Születésház - Adatozz okosan hackathon (Schmidt Erika, Balogh Kitti, Hudy Rób...
 
Sorok között olvasni
Sorok között olvasniSorok között olvasni
Sorok között olvasni
 
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
Danics Szabina Lívia: A magyar és az orosz melléknévi igenevek a megfelelteté...
 
Rasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útjaRasztik Zita: A стартовать jövevényszó fejlődési útja
Rasztik Zita: A стартовать jövevényszó fejlődési útja
 
Kontextus és a hivatkozások ereje
Kontextus és a hivatkozások erejeKontextus és a hivatkozások ereje
Kontextus és a hivatkozások ereje
 
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshezSimon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
Simon Eszter: Silver standard korpuszok tulajdonnév-felismeréshez
 
Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben Vincze Veronika: Korpuszok az információkinyerésben
Vincze Veronika: Korpuszok az információkinyerésben
 
Felhívás
FelhívásFelhívás
Felhívás
 
Miháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnetMiháltz Márton: Magyar wordnet
Miháltz Márton: Magyar wordnet
 
Ács Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárakÁcs Judit: Online soknyelvű szótárak
Ács Judit: Online soknyelvű szótárak
 
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezetSass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
Sass Bálint: 28 millió szintaktikailag elemzett mondat és 500000 igei szerkezet
 

Balogh Kitti - Szűcs Krisztina - Varjú Zoltán: TechTea: Szövegvizualizációk a szófelhőkön túl

  • 1. Szövegvizualizációk a szófelhőkön túl Szűcs Krisztina data visualization designer @szucsi Balogh Kitti statisztikus, adatelemző Varjú Zoltán sszámítógépes nyelvész
  • 2. Tartalom Ha túl sok a szöveg - topik vizualizáció Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés A kulcsszavaktól a diszlexiáig
  • 3. Szeretem a narancsot és az almát. Reggelire müzlit és almát készítek. A lamantinok és a kutyák aranyosak. A kutyám tegnap megevett egy narancsot a tállal együtt. Nézd azt az aranyos sünit, hogyan rágcsálja az almát! narancs alma reggeli 0.18 0.15 0.09 kutya aranyos lamantin ... 0.26 0.15 0.12 TOPIK 1 TOPIK 2 TOPIK K Ha túl sok a szöveg - topik vizualizáció Látens Dirichlet allokáció (LDA) outputinput dokumentumok témaeloszlása témák szóeloszlása dokumentumok szavai témák száma (K) topikok/témák kinyerése
  • 4. Ha túl sok a szöveg - topik vizualizáció Látens Dirichlet allokáció (LDA)
  • 5. Ha túl sok a szöveg - topik vizualizáció A kuruc.info Cigánybűnözés rovatának témái gyűlöletbeszéd romaellenes diskurzus, médiabeli romareprezentáció 10.304 db cikk, 27 romaellenes téma szociológiai szakirodalommal összeegyeztethető témastruktúra (Messing – Bernáth)
  • 6. Ha túl sok a szöveg - topik vizualizáció A kuruc.info Cigánybűnözés rovatának témái A cikkek témái 2006-2015 (1-9. téma)
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 30 40 50 2014
  • 16. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 30 2014 40 50
  • 17. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 2014 40 50 30
  • 18. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 30 40 50 2014 SZOCIÁLIS SEGÉLY, KÖZMUNKA
  • 19. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 30 40 50 2014 SZOCIÁLIS SEGÉLY, KÖZMUNKA
  • 20.
  • 21.
  • 22.
  • 23. 2008 2010 2012 0 topikarányok összege az időszak cikkeiben 10 20 30 40 50 2014 SZOCIÁLIS SEGÉLY, KÖZMUNKA
  • 24. Kolompár Orbán bírósági ügye 2008/09 Katapult Mentorprogramnál történt szabálytalanságok 2009/03 Kolompár Orbán és társainak bírósági ügye 2009/07 Kolompár Orbán és társainak bírósági ügye 2009/10 ROMA ÖNKORMÁNYZAT, ÖNSZERVEZŐDÉS 2008 2010 2012 0 10 20 30 40 50 2014
  • 25. Cozma-gyilkosság 2009/02 ROMA-NEM ROMA TÁRSADALMI PROBLÉMÁK, ELŐÍTÉLETESSÉG 2008 2010 2012 0 10 20 30 40 50 2014
  • 26. Szebb Jövőért Polgárőr Egyesület elkezd járőrözni Gyöngyöspatán 2011/03 Roma-nem roma konfliktusok Gyöngyöspatán 2011/04 SZEBB JÖVŐÉRT POLGÁRŐR EGYESÜLET ÉS GYÖNGYÖSPATA 2008 2010 2012 0 10 20 30 40 50 2014
  • 28. Ha túl sok a szöveg - topik vizualizáció Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában politikai blogok és híroldalak egymástól nem független kommunikációja kiindulás: kb. 70 magyar politikai blog szövegek legyűjtése szövegekben lévő linkeken továbbhaladva kirajzolódó hálózat
  • 29.
  • 30.
  • 31. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában A kisvilág-tulajdonság
  • 32. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában A kisvilág-tulajdonság
  • 33. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában A kisvilág-tulajdonság
  • 34. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában A kisvilág-tulajdonság
  • 35. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók érzelmek racionalitása szentiment- és emóciószótárak
  • 36. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 37. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 38. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 39. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 40. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 41. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 42. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 43. Egymásba gabalyodva- a magyar politikai blogszféra az érzelmek hálójában Emóciók
  • 44.
  • 45.
  • 46.
  • 47.
  • 48. Ha túl sok a szöveg - topik vizualizáció A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés szöveg: szavak hálózata Zipf-eloszlás kisvilág-tulajdonság
  • 49. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szógráf példa Zoli nagyon örül, mert Nóri elvitte végre krumplilángost enni. A krumplilángos Zoli számára a legfinomabb kaja a világon és reméli, hogy Nórinak is ízlett. Zoli és Nóri legközelebb nem krumplilángost fog enni, hanem elmennek megnézni az új Avengers filmet. zoli nagyon örül mert nóri vinni végre krumplilángos enni a krumplilángos zoli számára a finom kaja a világon és reméli hogy nóri is ízleni zoli és nóri közel nem krumplilángos fog enni hanem menni nézni az új avengers film zoli nagyon nagyon örül örül mert stb.
  • 50. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szógráf példa
  • 51. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szógráf példa - Wikipedia
  • 52. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szógráf példa - Wikipedia
  • 53. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szemantika Magyar Wordnet lexikális szemantikai adatbázis skálafüggetlen, kisvilág
  • 54.
  • 55.
  • 56. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Szóasszociáció Agykapocs többnyelvű, szóasszociációs adatbázis skálafüggetlen, kisvilág kognitív modell
  • 57.
  • 58.
  • 59. A nyelv hálózati megközelítésben - szemantika, szóasszociáció, nyelvfejlődés Nyelvfejlődés CHILDES, magyar nyelvű adatok, 17-36 hónapos kor 5 gyermek nyelvi gráfjai szótárméret, fokszám, nyelvi diverzitás az egymást követő hónapokban
  • 60. Kulcsszó-kinyerés A kulcsszavaktól a diszlexiáig szövegből készült szógráf legfontosabb elemei → szöveg kulcsszavai TextRank módosított változata emberi értékelés: 7.6% teljesen releváns, 46.4% inkább releváns, 32.4% valamelyest releváns, 13.2% inkább irreleváns, 0.4% teljesen irreleváns
  • 61.
  • 62.
  • 63. Diszlexia A kulcsszavaktól a diszlexiáig kulcsszavak kiemelése szövegértés növelése olvasási nehézségekkel küzdőknek szóhálózat: diszlexiások által is használt mind-maphez hasonlít
  • 64. Diszlexia A kulcsszavaktól a diszlexiáig kulcsszókinyerő alkalmazás böngésző plug-in kifejlesztése eye-tracking kísérletek