Kollár Csaba: Mennyit ér az aláírásod? Digitalizált aláírások vizsgálata és elemzése a mesterséges intelligencia segítségével KUTATÓK ÉJSZAKÁJA 2019 2019. szeptember 27. Óbudai Egyetem Bánki Donát Gépész és Biztonságtechnikai Mérnöki Kar Budapest

1. KUTATÓK ÉJSZAKÁJA 2019
2019. szeptember 27.
Óbudai Egyetem Bánki Donát Gépész és Biztonságtechnikai Mérnöki Kar
Budapest
Dr. Kollár Csaba PhD
MENNYIT ÉR AZ ALÁÍRÁSOD?
Digitalizált aláírások vizsgálata és elemzése a
mesterséges intelligencia segítségével

2. BEMUTATKOZÁS

3. DIGITÁLIS KOR társadalmi vetületei
gazdasági hatásai
információbiztonság
humán aspektusa
biztonságtudatosság
fejlesztése
ember-robot interakció
emberi oldala
intelligens városok
1.) Az írás és az aláírás
azonosítása során milyen
biztonsági kihívások
vannak?
2.) A mesterséges
intelligencia képes
hatékonyan segíteni az
írásszakértők munkáját?
mesterséges intelligencia

4. • személyazonosító igazolvány
• gépjárművezetői engedély
• útlevél
• diákigazolvány
• elkészült fényképes igazolványok átvétele
• szerződések (pl. adás-vételi szerződés, hitelfelvétel, munkaszerződés,
bankszámla szerződés)
• nyilatkozatok tétele
• jelentkezés könyvtárba, egyetemre, stb.
• végrendelet
• egyetértés a szöveggel
• postai ajánlott küldemény átvétele
• levelek aláírása
• autogram
• jelenléti ív (választás, szavazás, tanóra, gyakorlat, stb.)
Írásunk és aláírásunk

5. Írásazonosítás vs. Grafológia I.
kézírás, gépírás, bélyegzők Tárgya kézírás, grafikum
kézeredet azonosság
személyazonosítás
írógép bélyegző-lenyomat
vizsgálata
hitelességének megállapítása
Feladata személyiségvonások feltárása
befolyásoltság vizsgálata
hazugságvizsgálat
aktuális pszichés állapot feltárása
végrendeletek hitelessége
fenyegető, zsaroló levelek
számla és aláírás hamisítások
bélyegző hamisítások
szerződés hitelességének
megállapítása
Leggyakoribb
alkalmazási
területei
munkaerő-kiválasztás
nevelési problémák
pályaorientáció
életviteli problémák
polgári és büntetőügyek
jogszolgáltatlás
büntetőügyek
polgári peres ügyek
céges, vagy magánmegbízás
Ügyfélköre céges, vagy magánmegbízások
polgári peres ügyek
büntetőügyek

6. Írásazonosítás vs. Grafológia II.
eredeti vizsgálati anyagok
mennyiségi és minőségi
megfelelés
időbeni közelítés
A vizsgálandó
anyag
kritériumai
eredeti, vagy fénymásolt vizsgálati
anyagok, regisztrátumok
mennyiségi és minőségi
követelmények
aláírás szükségessége
nagyító, szögmérő, vonalzó
fénymásoló, mikroszkóp
fényképezőgép, Tenzitron
polarizált és UV-fény
Számítógépes képfeldolgozás
Eszközei nagyító, szögmérő, vonalzó
fénymásoló, mikroszkóp
Grafodin (Press-pen), Grafometer
számítógépes képfeldolgozás

7. • Íráskép alapján jellemrajz, pszichológiai tulajdonságok
• Klinikai: patogenezis tényezőinek és dinamikájának feltárása, gyógykezelés
hatásvizsgálata, tünetek mögötti kapcsolati zavarok feltárása.
• Kriminalisztikai: a bűntényekkel kapcsolatos személyiségfeltáró-vizsgálatok.
• Mentálhigiénés: önismeret-fejlesztés, párkapcsolati konfliktusok és
gyermeknevelési problémák okainak feltárása, krízisintervenciós munka
támogatása.
• Nekrografológiai: elhunyt ismert, kiemelkedő személyek személyiségvizsgálata.
• Pedagógiai: az oktató-nevelőmunka hatékonyságának segítése, pályaválasztás
segítése, viselkedési zavarok hátterének feltárása, képesség, illetve
tehetségfeltárás, egyéni személyiségfejlesztés, grafoterápia.
• Személyügyi: szűrővizsgálatok, vezető-kiválasztás, munkatárs kiválasztás,
állapotkövetés, baleset-megelőzés, team-építés, hatásvizsgálatok, teljesítmény-
terhelhetőségi vizsgálatok, életvezetési tanácsadás, karriertervezés,
pályaalkalmassági vizsgálatok, tárgyalási stratégia tervezése, személyközi
kapcsolatok és konfliktusok prognózisa, konfliktuskezelési módok feltárása.
Grafológia

8. Néhány grafológiai példa
• Betűméret
• Sorok egymáshoz viszonyítva
• Szöveg elhelyezése a papíron
• Margók helye és mérete
• Sorok egyenesek/dőlnek
• Stb…

9. • Életkor
• Nem
• Képzettség/műveltség
• Foglalkozás, munkahely
• Írás/aláírás gyakoriságának szükségessége
• Pszichológiai/mentális állapot
• Kézsérülés
• Tartós egészségügyi probléma (kéztremor)
• Látási fogyatékosság
• Méreg, kábítószer, alkohol hatása
• Tartós fáradtság, kimerültség
• Szándékos írástorzítás, írásferdítés
Mi befolyásolja az írásképet/aláírást?

10. ÍRÁSFELISMERÉS

11. 1. Gépelt/nyomtatott betű: a
2. Kézzel írt „szabvány” betű:
3. Kézzel írt „a” betű változatok:
Kell-e mesterséges intelligencia?
Betűfelismerés

12. • Gépelt/nyomtatott szó: alma
• Szabvány kézírással írt szó:
• Kézzel írt írásképváltozatok:
Kell-e mesterséges intelligencia?
Szófelismerés

13. • Gépelt/nyomtatott szöveg:
Szeretem az almát!
• Szabvány kézírással írt szöveg:
• Kézzel írt írásképváltozatok:
Kell-e mesterséges intelligencia?
Szövegfelismerés

14. Nehezített pálya

15. • Csúnya, kivehetetlen kézírás
• Kevés szöveg
• Hiányos szöveg
• Piszkos háttér
• Elmosódott szöveg
• Feldolgozás (scannelés) közben fizikai hibák (homályos,
koszos üvegfelület, elcsúszik a papír)
• Feldolgozás közbeni informatikai és szoftverhibák
Miben tud segíteni a mesterséges intelligencia?

16. a) valamely kézírás vagy aláírás az összehasonlító minták alapján mely
személytől vagy szűkebb személyi körtől származik,
b) különböző kézírások vagy aláírások ugyanazon személytől
származnak-e,
c) a vizsgálatra küldött kézírás vagy aláírás
a) eredeti vagy másolat,
b) valódi vagy hamisított,
c) természetes vagy torzított írással készült,
d) az iratot, illetve egyes részeit megváltoztatták-e,
e) az átjavított vagy törölt szöveg eredetileg mit tartalmazott,
f) a vizsgált kézírás a minták alapján rendhagyó körülmények között
készült-e, illetve
g) a vizsgálatra küldött kézírás vagy aláírás és a minta alkalmas-e a
vizsgálatra
Írásszakértői írásazonosítás*
*31/2008. (XII. 31.) IRM rendelet

17. HÍVJUK SEGÍTSÉGÜL A MESTERSÉGES INTELLIGENCIÁT!

18. A MI kapcsolódó fogalmai

19. Különbség a program és a MI között*
program MI
• Programozó írta
• Determinisztikus: ugyan arra a
kérdésre ugyan azt a választ
adja
• Igen-nem, 0-1 jellegű
eredményt ad
• Az ember mondja meg, hogy mi
a helyes eredmény
• Szabályokat futtat, nincs helye a
szabályok felülírásának
• Programozó írta
• Valószínűséggel dolgozik:
bizonyos eséllyel ugyan az a
válasz az adott kérdésre
• Kevésbé-jobban, 85%-15%
jellegű eredményt ad
• A programozó a célt adja meg, a
gép kísérletezi ki a helyes
eredményeket
• Mintákat vizsgál
• Helye van a meglepetéseknek
és a hangsúlyok eltolásának
*Biczó (2017) alapján

20. Mesterséges intelligencia Humán intelligencia
• Képes az emberi viselkedés és a
kognitív folyamatok szimulációjára
• Megragadja és megőrzi az emberi
szakértelmet és kommunikált
tapasztalatot
• Nagy mennyiségű adatot képes
gyorsan megérteni, gyorsan ad
választ
• Nincs józan ész
• Nem tud egyszerre vegyes tudással
foglalkozni
• Sokba kerül a fejlesztése
• Jogi és etikai kérdéseket és
problémákat vet fel
• Intuíció, józan ész, ítélet,
kreativitás, hit
• Az intelligencia bemutatásának
képessége hatékony kommunikáció
révén
• Érvelés és kritikus gondolkodás
• Az ember hibázik
• Korlátozott tudásbázis
• A számítógéphez képest az
adatfeldolgozás lassan történik az
agyban
• Az ember nem képes nagy
mennyiségű adat tárolására a
memóriájában

21. Felügyelt tanulás
• jó válaszok előre megadva, MI jósol
• tréningadatbázis
Nem felügyelt tanulás
Problémák, kérdések:
• Mit kellene megtanítani a géppel?
• Mikor engedhetjük, hogy a gép nem felügyelt módon is
tanuljon?
• Milyen a tanulói környezete a gépnek?
• Mennyi ideje van a gépnek/embernek, hogy a gép tanuljon?
• Alul-, illetve túltanulás veszélye
A gépi tanulás

22. 1. nem nyújt semmilyen segítségét, mindent az ember csinál.
2. teljes körű cselekvési alternatívákat kínál.
3. leszűkíti a cselekvést néhány választási lehetőségre.
4. egyetlen tevékenységet/műveletet végez.
5. végrehajtja a műveletet, ha az ember jóváhagyja azt.
6. mielőtt a műveletet végrehajtaná, lehetőséget az embernek, hogy
azt megvétózza.
7. automatikusan hajtja végre a műveletet, de erről feltétlenül
tájékoztatja az embert.
8. a művelet automatikus végrehajtás után csak akkor tájékoztatja
az embert, ha az kéri.
9. a művelet automatikus végrehajtása után csak akkor tájékoztatja
az embert, ha ilyen döntést hoz.
10. maga dönt el mindent, automatikusan működik, figyelmen kívül
hagyva az embert.
A gép autonómiája – A számítógép…

23. Egy nyomtatott betű informatikai értelmezései
(x;y) koordináta tengelyen minden pont meghatározható:
(x1;y1), (x2;y2)… (xn;yn)

24. • Az adott pontban van/nincs adat („fekete/fehér”) – alapelv,
mint egy betűnél -> betűsor
A mesterséges intelligencia támogatása
• Betűk egymás után -> szó
Hibajavítás: atma -> alma (szókorrekció, szóértelmezés)
• Szavak egymás után -> mondat
Hibajavítás: Szer ete a alm t! -> Szeretem az almát! (mondatkorrekció)
• Mondatok egymás után -> dokumentum (írott közlemény)
Hibajavítás: szövegkorrekció, stíluskorrekció, hiányzó szöveg pótlása
Kapcsolódó nyomtatott betűk értelmezései

25. • Minél több (változatos) nyomtatott betű, mondat,
szöveg, amin tanulni tud
• Fejlett tanulási algoritmusok
• Felkészült tanárok
• Felismeri a túltanulás hibáit és lehetőségeit is
• Türelmes
• Felügyeli a tanulási folyamatot
Amire a mesterséges intelligenciának szüksége van

26. Scannelt aláírás vs. aláírótáblán felvett aláírás
Digitalizált aláírás I.

27. • Scannelt
• Kép -> adatok
• Nem lehet tudni az írás gyorsaságát
• Nem lehet tudni, hogy hányszor emelte fel a tollat az aláíró
• Kétdimenziós (xn;yn)
• Aláírótáblán felvett
• Adatok -> vizualizálható
• Lehet tudni az írás gyorsaságát
• Lehet tudni, hogy hányszor emelte fel a tollat
• Be lehet járni az írást az írásvonal alapján
• Háromdimenziós (xn;yn;zn)
Digitalizált aláírás II.

28. • Hány aláírás áll rendelkezésünkre az adott személytől?
• Milyen információink vannak ezekről (pl.: időbélyeg,
aláírótábla típusa)
• Két kép/adatsor mikor lehet azonos?
• Mekkora változatosságot engedünk meg?
• Mennyivel jelent több információt
• a 3. dimenzió és
• a mintavételi frekvencia
alkalmazása?
• Mekkora szerepe van jelenleg a szakértő
szakértelmének?
Alírás valódiságának megállapítása (kérdések)

29. Alírás valódiságának megállapítása (folyamat)
Aláírás
Elő-
feldolgozás
Személy-
azonosság
ellenőrzése
Tulajdonság-
meghatározás
Össze-
vetés
Döntési
küszöb
Korábbi
minták
BDA + Algoritmusok + MI
+/-

31. • Társadalmi kredit rendszere adat- és
információbiztonsági kihívásainak kutatása
• Aláírásazonosítás és –hamisításdetektálás mesterséges
intelligencia segítségével (kutatás a Nemzetbiztonsági
Szakszolgálat Szakértői Intézetével közösen)
• Mesterséges Intelligencia Műhely
• Mesterséges intelligencia a biztonságtechnikában című
tantárgy
• Releváns szak- és diplomadolgozati, illetve TDK témák
• Konferenciaelőadások és szakmai tanulmányok
Kapcsolódó aktivitásunk a Bánki Karon

32. Dr. Kollár Csaba PhD
Óbudai Egyetem Biztonságtudományi Doktori Iskola
https://www.linkedin.com/in/drkollarcsaba | http://www.slideshare.net/drkollarcsaba
Köszönöm megtisztelő figyelmüket!

33. • https://education.ket.org/wp-content/uploads/2016/06/id244-717x376.jpg
• https://navimumbai.com/wp-content/uploads/2018/01/sub-buzz-20965-1493210281-10.jpg
• https://cultura.hu/wp-content/uploads/2017/08/banki-donat-cigar-head.jpg
• https://i0.wp.com/pubtechgator.bmj.com/wp-content/uploads/2017/01/s22537.p622.sites_.pressdns.comlabs.ft_.comDarkOCR1-
debb-cc75382f56da1a646a5ff087d0389cec6814dcb2.png?fit=1400%2C840&ssl=1
• https://slideplayer.hu/slide/2210274/8/images/9/T%C3%A9rszimbolika+Fent+-Tudat+Bal+Jobb+-J%C3%B6v%C5%91+Lent+-
Tudattalan+%E2%80%9E%C3%89n+pont.jpg
• https://contactcentresummit.co.uk/wp-content/uploads/2017/03/Lost-art-of-letter-writing.jpg
• https://i.ytimg.com/vi/CgcU4zKm0Bc/maxresdefault.jpg
• https://miro.medium.com/max/1000/1*tSXtMGTKsrA0hw1S7dDQXA.jpeg
• https://i.pinimg.com/originals/7e/b3/b0/7eb3b06f653d1d62109e28aba46b4c0d.gif
• https://i0.wp.com/runningrita.nl/wp-content/uploads/2017/11/vliegangst-gif.gif
A felhasznált képek forrása

34. A prezentáció az EFOP-3.4.4-16-2017-00019
„STEM Fejlesztések az Óbudai Egyetemen”
című projekt keretében, annak támogatásával
készült.
Együttműködő partner a Nemzetbiztonsági
Szakszolgálat Szakértői Intézete.
Szolgálati közlemény