ShiftTree: model alapú idősor-osztályozó (ML@BP előadás, 2012)

1. Hidasi Balázs Gravity R&D BME-TMIT ML@Bp, 2012. február 20. Budapest

2. Tartalom  Bevezetés  Idősorok  Idősor-osztályozás  Az alap ShiftTree algoritmus  Felépítés  Címkézés  Tanulás  Futási idő  Modellek értelmezése  Előnyök, hátrányok  Kiegészítések  Nyesés  Többszörös modellezés  Heurisztikák a tanulásban  Stream-ShiftTree  Futási idő csökkentés  Konfidenciák  Online tanulás  Modellek kombinálása  Néhány eredmény  Merre tovább?

4. Idősorok  Félig strukturált adatok  Idő szerinti rendezettség  Egy vagy több változó  Idősor-szerű adatok  Több időtengely  Jelen tárgyalásban:  Egy idő tengely  Egy vagy több változó  Változók egyenletes mintavétele

5. Motiváció  Olcsó szenzorok elterjedése  Jelentős mennyiségű idősor jellegű adat  Előtérbe kerülő alkalmazási területek  Nyomkövetés  Hangfelismerés  Gesztusfelismerés  Diagnosztika  Stb.

6. Idősorokhoz kapcsolódó feladatok  Előrejelzés  Klaszterezés  Szakaszok felismerése  Osztályozás  Stb.

7. Idősorok osztályozása  Klasszikus osztályozás, idősor bementtel  Ismert címkéjű példányokkal tanítás Tanítás Modell  Ismeretlen címkéjű pontok felcímkézése Modell Osztályozás

8. Idősor-osztályozó módszerek  Klasszikus módszerek  Változó(k) értékei függetlenek  Nem használja ki a struktúrát  Nem tudja kezelni az eltérő hosszakat  Példány alapú módszerek (1-NN (k-NN))  Valamilyen mérték használatával  Nincs tanulás  Nagyon lassú az osztályozás  Indexelés  Alacsony általánosító képesség  Nem kell sok tanítóminta  Rejtett Markov modellek (HMM)  Kell ismeret a problémáról (nem domain független)  Állapotátmenet mátrix, alap struktúra definiálása  Tanuláshoz sok minta kell

9. Célok  Modell alapú megoldás  Nagyobb általánosító képesség  Címkézés gyors  Viszont: több tanítóminta kell  Értelmezhető modell  Leírás az osztályokról  Bizalom az algoritmussal szemben  Kellő pontosság  Domain függetlenség  Szakértői tudás beépíthetősége

11. Általános koncepció  Nem idősor specifikus  Idősor  Más félig strukturált adat  Gráfok  Kurzor (szem)  Dinamikus attribútumok  Két kérdés  „Hova nézzünk?”  „Mit nézzünk?”  Operátor családok  EyeShifter Operator(s) (ESO) F(x)  ConditionBuilder Operator(s) (CBO)  Modell: egyszerű operátorok / szabályok sorozata  Elágazások lehetségesek

12. Koncepció alkalmazása idősorokra  Dinamikus attribútumok idősorokhoz  EyeShifter Operator (ESO): „Hova nézzünk?”  A szemet az időtengely mentén mozgatja  Az idősor egy meghatározott pontjához  Pl.: „Következő lokális minimum”, „100 egységgel előre”, etc.  Megj.: a hely függ(het) a teljes operátor sorozattól  ConditionBuilder Operator (CBO): „Mit nézzünk?” F(x)  Kiszámolja az attribútum értéket  Pl.: „Változó értéke”, „Ugrás hossza”, etc. Súlyozott átlag  Bináris döntési fa, mint alap modell  Jól együttműködik a dinamikus attribútumok rendszerével  A gyökértől a levelekig tartó operátor sorozatok

13. Egy csomópont felépítése Θ ESOj VE változón Θ CBOk VC változón CV I H CV < TV ? ChildL ChildR

14. Néhány példa operátor  ESO  Következő lokális maximum  Globális minimum  Vissza 25 egységgel  Legközelebbi szélsőértékre  CBO  Pontbeli érték  Pont körüli súlyozott átlag  Ugrás hossza  Értékek átlaga az átugrott tartományban

15. Címkézés 0. szint ESOMax CBOSimple Felt: 2,028 1. szint 1. szint ESONext(25) Levél CBOSimple Felt: 0,201982 2. szint 2. szint Levél Levél 15

17. Címkézés 0. szint ESOMax CBOSimple Felt: 2,028 Érték: 1,89136 1. szint 1. szint ESONext(25) Levél CBOSimple Felt: 0,201982 Érték: 2. szint 2. szint 2,15333 Levél Levél Érték: 2,97557 15

18. Címkézés 0. szint ESOMax CBOSimple Felt: 2,028 Érték: 1,89136 1. szint 1. szint ESONext(25) Levél CBOSimple Felt: 0,201982 Érték: 2. szint 2. szint 2,15333 Levél Levél Érték: 2,97557 15

21. Címkézés 0. szint ESOMax CBOSimple Felt: 2,028 1. szint 1. szint ESONext(25) Levél CBOSimple Felt: 0,201982 Érték: 2. szint 2. szint -0,953538 Levél Levél Érték: 1,32432 15

22. Címkézés 0. szint ESOMax CBOSimple Felt: 2,028 1. szint 1. szint ESONext(25) Levél CBOSimple Felt: 0,201982 Érték: 2. szint 2. szint -0,953538 Levél Levél Érték: 1,32432 15

25. Modell tanulás  0. Operátor halmazok definiálása (ESO, CBO).  0. Üres gyökér csomópont felvétele, az összes tanítóminta hozzárendelése a gyökérhez. Minden mintánál a szem beállítása az idősor elejére. Gyökér berakása a kifejtési sorba.  1. A következő üres csomópont vétele a kifejtési sorból.  1.A. Ha teljesül a leállási feltétel, az aktuális csomópont legyen levél. GOTO 1.  1.B. Egyébként a csomópontba kerülő tanítóminták két részre bontása a legjobban szeparáló dinamikus attribútum szerint. (Csomópont tanulás.)  2. A kiválasztott ESO szerint a szem beállítása a tanítómintákon.  3. Két gyermek csomópont létrehozása, a mintahalmazok hozzárendelése, csomópontok hozzá vétele a kifejtési sorhoz. GOTO 1.

26. Csomópont tanulás  Kiindulási állapot  Szem az idősor elején  Előre definiált ESO halmaz  Lehetséges szem pozíciók

27. F(x) Csomópont tanulás  Előre definiált CBO halmaz  Elérhető dinamikus attribútumok  A lehetséges szem pozíciók „körül”  Minden ESO-CBO kombináció  Választunk egy…  Attribútumot Ami minimalizálja a gyermek csomópontokban az  Küszöbértéket osztályok eloszlásának entrópiáinak az összegét

28. Csomópont tanulás  Legjobb vágás kiválasztása  Szem mozgatása  Elérhető pozíciók megváltoznak!  Minták kétfelé osztása  Gyermek csomópontok létrehozása  Homogén csomópont esetén leállás

29. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 -0,332858 0,369887 0,390093 2,48622 0,77183 -1,16155 1,02775 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,985078 0,983634 0,805777 0,600131 1,32624 Inf 0 ESO: ESONextMax ESONext100 ESOMax - Eddigi legjobb jóságérték: 0,985078 0,983634 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 -0,332858 0,390093 1,02775 - Eddigi legjobb rendezés: 20

36. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 0,369887 0,390093 2,48622 0,77183 -1,16155 1,02775 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,983634 0,805777 0,600131 1,32624 Inf 0 ESO: ESONextMax ESONext100 ESOMax - Eddigi legjobb jóságérték: 0,985078 0,983634 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 -0,332858 0,390093 1,02775 - Eddigi legjobb rendezés: 20

39. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 0,369887 0,390093 2,48622 0,77183 1,02775 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,983634 0,805777 0,600131 Inf 0 ESO: ESONextMax ESONext100 ESOMax - Eddigi legjobb jóságérték: 0,983634 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 -0,332858 0,390093 1,02775 - Eddigi legjobb rendezés: 20

40. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 0,369887 0,390093 2,48622 0,77183 1,02775 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,983634 0,805777 0,600131 Inf 0 ESO: ESONextMax ESONext100 ESOMax - Eddigi legjobb jóságérték: 0,983634 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 0,390093 1,02775 - Eddigi legjobb rendezés: 20

41. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 0,369887 0,390093 2,48622 0,77183 1,02775 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,983634 0,805777 0,600131 Inf 0 ESO: ESONextMax ESONext100 - Eddigi legjobb jóságérték: 0,983634 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 0,390093 - Eddigi legjobb rendezés: 20

42. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,739969 -0,700739 0,369887 0,390093 2,48622 0,77183 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,805777 0,600131 Inf 0 ESO: ESONextMax ESONext100 - Eddigi legjobb jóságérték: 0,805777 Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 0,390093 - Eddigi legjobb rendezés: 20

49. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 0,390093 2,48622 0,77183 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,600131 Inf 0 ESO: ESONextMax ESONext100 - Eddigi legjobb jóságérték: Inf 0 CBO: CBOSimple - Feltétel: -0,739969 -0,700739 0,390093 - Eddigi legjobb rendezés: 20

50. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 0,390093 2,48622 0,77183 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,600131 Inf 0 ESO: ESONextMax ESONext100 - Eddigi legjobb jóságérték: Inf 0 CBO: CBOSimple - Feltétel: -0,700739 0,390093 - Eddigi legjobb rendezés: 20

51. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 0,390093 2,48622 0,77183 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0,600131 Inf 0 ESO: ESONextMax - Eddigi legjobb jóságérték: Inf 0 CBO: CBOSimple - Feltétel: -0,700739 - Eddigi legjobb rendezés: 20

52. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 2,48622 - Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: Inf 0 ESO: ESONextMax - Eddigi legjobb jóságérték: Inf 0 CBO: CBOSimple - Feltétel: -0,700739 - Eddigi legjobb rendezés: 20

55. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 2,48622 Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0 ESO: ESONextMax - Eddigi legjobb jóságérték: 0 CBO: CBOSimple - Feltétel: -0,700739 - Eddigi legjobb rendezés: 20

56. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 2,48622 Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0 ESO: ESONextMax - Eddigi legjobb jóságérték: 0 CBO: CBOSimple - Feltétel: -0,700739 - Eddigi legjobb rendezés: 20

57. Csomópont tanulás Szemtologató Definiált operátorok Ugrás a következő lokális ESONextMax ESONextMax maximumhoz ES ESONext100 ESONext100 Ugrás 100 hellyel előre ESOMax ESOMax Ugrás a maximumhoz CB CBSimple CBOSimple Pontbeli érték visszaadása ShiftTree F(x) Feltételállító Döntő M Jelen beállításnál a legjobb vágási feltétel: -0,700739 0,369887 2,48622 Eddigi legjobb vágás a csomópontban Jelen beállításnál a legjobb jóság érték: 0 ESO: - Eddigi legjobb jóságérték: 0 CBO: - Feltétel: - Eddigi legjobb rendezés: 20

58. Futási idő - elmélet  Címkézés:  Operátorfüggően lineáris az idősor hosszában  Lineáris a modell szintjeinek számában  Tanítás:  Csomópontonként  A rendezés miatt N*logN a csomópont mintáinak számában  Operátorfüggően lineáris az idősor hosszában  Lehetséges dinamikus attribútumok számában lineáris függés  Összességében  Függ a kialakult struktúrától  Függ a tanítópontok aktuális eloszlásától

59. Futási idő - gyakorlat  Címkézés: nagyon gyors  Tanítás: viszonylag gyors  A hossztól való függés nem mutatható ki  Nagyban függ a probléma nehézségétől  Függ a definiált operátoroktól 200  Lineárisan skálázódik 180 160 140 120 Idő (s) 100 80 60 40 20 0 Tanítóhalmaz mérete Min of 20 Max of 20 Mean of 20

60. Modell értelmezés  Operátor függő!  Az adatok megértésében is segít  Pl.: CBF adatsor  3 osztály: Cylinder, Bell, Funnel  Cylinder a globális maximumban különbözik a másik kettőtől  Z-normalizált adatsor  Bell és Funnel közti különbség: vissza 25 egységet + zajszűrés (súlyozott átlag)  Melyik oldalon van a csúcs

ShiftTree: model alapú idősor-osztályozó (ML@BP előadás, 2012)

Recommended

Recommended

More Related Content

More from Balázs Hidasi

More from Balázs Hidasi (9)

ShiftTree: model alapú idősor-osztályozó (ML@BP előadás, 2012)