20130216 machinelearning khachay_lecture01

Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ

Machine Learning. Ââåäåíèå

Ì.Þ. Õà÷àé
mkhachay@imm.uran.ru
Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍ
Ñ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ

Øêîëà àíàëèçà äàííûõ
âåñåííèé ñåìåñòð 2013


Àííîòàöèÿ

Êóðñ ¾Àëãîðèòìè÷åñêîå îáó÷åíèå¿ ïðåäñòàâëÿåò ñîáîé êðàòêîå
ââåäåíèå â òåîðèþ è ìåòîäû ðåøåíèÿ çàäà÷ àíàëèçà ýìïèðè÷åñêèõ
äàííûõ: êëàññèôèêàöèè ñ ó÷èòåëåì, âîññòàíîâëåíèÿ çàâèñèìîñòåé
áîëåå îáùåé ïðèðîäû, êëàñòåðèçàöèè è äð., èìåþùèõ øèðîêèé
ñïåêòð ïðèëîæåíèé â îáëàñòè ìåäèöèíñêîé è ýêîíîìè÷åñêîé
äèàãíîñòèêè, àíàëèçà èçîáðàæåíèé, èíôîðìàöèîííîãî ïîèñêà è
ò.ï.


Ñîäåðæàíèå

1 Ââåäåíèå

2 Òèïû çàäà÷ îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Ìåòîäû

3 Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè


What is Machine Learning?

Authur Samuel (1959)
Machine Learning is a eld of study that gives computers the ability
to learn without being programmed


What is Machine Learning?

Machine Learning is the study of
computer algorithms that improve
automatically through experience.
Applications range from datamining
programs that discover general rules in
large data sets, to information ltering
systems that automatically learn users'
interests


What is Machine Learning? (Pedro Domingos)


Òèïû çàäà÷

supervised learning (îáó÷åíèå ñ ó÷èòåëåì) ïîñòàíîâêè çàäà÷, â
êîòîðûõ òðåáóåòñÿ âîññòàíîâèòü (îöåíèòü,
àïïðîêñèìèðîâàòü) íåèçâåñòíóþ çàêîíîìåðíîñòü ïî
çàäàííîìó íàáîðó ïàð (input, output).
Èíòåðïîëÿöèÿ çàäà÷è êëàññèôèêàöèè,
âîññòàíîâëåíèÿ ðåãðåññèè. Ýêñòðàïîëÿöèÿ çàäà÷è
ïðîãíîçèðîâàíèÿ, àíàëèçà âðåìåííûõ ðÿäîâ.
unsupervised learning (îáó÷åíèå áåç ó÷èòåëÿ) çàäà÷è
ãðóïïèðîâêè (âîçìîæíî, èåðàðõè÷åñêîé) áëèçêèõ â
íåêîòîðîì ñìûñëå îáúåêòîâ, êëàñòåðèçàöèÿ,
âûÿâëåíèå íàèáîëåå õàðàêòåðíûõ ïðåäñòàâèòåëåé
semi-supervised learning
reinforcement learning


Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè


Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè

Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),
ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),
ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõ
èññëåäîâàíèé (ÊÒ)
Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)


Çàäà÷à áèîìåòðè÷åñêîé èäåíòèôèêàöèè


Çàäà÷à îá îöåíêå çàåìùèêà

Input: àíêåòíûå äàííûå: âîçðàñò, îáðàçîâàíèå, ìåñòî
ðàáîòû, ñðåäíèé äîõîä, ñîáñòâåííîñòü, ñåìåéíîå
ïîëîæåíèå; êðåäèòíàÿ èñòîðèÿ; íåâåðáàëüíûå
äàííûå: ðåçóëüòàòû èíòåðâüþ, ñóáúåêòèâíîå ìíåíèå
êðåäèòíîãî ýêñïåðòà è.ò.ï
Output: ðåøåíèå î êðåäèòîñïîñîáíîñòè çàåìùèêà


Êëàñòåðíûé àíàëèç

Ìåòîäû

Ìåòîäû îáó÷åíèÿ

áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ

Ìåòîäû


ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíò
Ôèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,
RVM è ò.ï.)

Ìåòîäû


RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)

Ìåòîäû


RVM è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)

Ìåòîäû


RVM è ò.ï.)
ãðàôîâûå ìîäåëè (HMM è äð.)

Ìåòîäû


RVM è ò.ï.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)

Ìåòîäû


RVM è ò.ï.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.

Ìåòîäû

Îáîñíîâàíèå

ýìïèðèêà (CV, FAR/FRR, AUC è ò.ï.)
òåîðèÿ Âàïíèêà-×åðâîíåíêèñà (VCD, âåðõíèå îöåíêè
ðàâíîìåðíîé ñõîäèìîñòè ýìïèðè÷åñêèõ ñðåäíèõ)
ñòîõàñòè÷åñêèå ñëó÷àéíûå ïðîöåññû (ñëàáàÿ ñõîäèìîñòü,
äîíñêåðîâîñòü, îáîáùåíèå ÖÏÒ)
PAC-learning


Çàäà÷à îá îïòèìàëüíîì ôóíêöèîíàëüíîì ýëåìåíòå

â çàäàííîì ñåìåéñòâå äîïóñòèìûõ ôóíêöèé òðåáóåòñÿ âûáðàòü
ýëåìåíò, îïòèìèçèðóþùèé ôèêñèðîâàííûé êðèòåðèé êà÷åñòâà
(ïîòåðü)
Íàïðèìåð,
Äàíî: Z, G = {g(·, α) : Z → R, α ∈ Λ} è I : Λ → R+ .
Íàéòè: g(·, α) ∈ G òàêóþ, ÷òî
¯

α = arg min{I(α) : α ∈ Λ}.
¯ (1)


Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà

Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõ
ìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ → R òàê, ÷òî
I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z

α = arg min{I(α | P) : α ∈ Λ}.
¯ (3)



I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z

¯ (3)

Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) çàäà÷à âàðèàöèîííîãî
èñ÷èñëåíèÿ



I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z

¯ (3)

Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1 , z2 , . . . , zl )



I(α) = I(α | P) = Φ(z, g(z, α)) dP(z) (2)
Z

¯ (3)

Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1 , z2 , . . . , zl )

Â ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè


Àíòàãîíèñòè÷åñêàÿ èãðà ñ ïðèðîäîé

Èãðîêè I II
Èìÿ Ïðèðîäà Ñòàòèñòèê
×èñòûå ñòðàòåãèè P ∈ P α∈Λ

ïàðòèÿ èãðû (P, α),
ïëàòåæíàÿ ôóíêöèÿ K(P, α) ≡ I(α|P)


Áàéåñîâñêèå ðåøåíèÿ

Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåì
çàäàíà âåðîÿòíîñòíàÿ ìåðà µ.



Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min
ˆ I(α | P) dµ | α ∈ Λ ,



Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min
ˆ I(α | P) dµ | α ∈ Λ ,

Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà
Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr .
Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîå
ðàñïðåäåëåíèå µpos = µ[µpr , ζ].
Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos ).
ˆ


Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1 , P2 }, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíà
ïëîòíîñòüþ ρi . Ïðîèçâîëüíîå µ äèñêðåòíî.
Ïóñòü µpr (Pi ) = mi , ãäå m1 , m2 0 è m1 + m2 = 1.


Ïî ôîðìóëå Áàéåñà
l
mi ρi (zj )
j=1
µpos (Pi ) = ni = l
.
mi ρi (zj )
i∈{1,2} j=1


Ïî ôîðìóëå Áàéåñà
l
mi ρi (zj )
j=1
µpos (Pi ) = ni = l
.
mi ρi (zj )
i∈{1,2} j=1

Èñêîìîå áàéåñîâñêîå ðåøåíèå


α(µpos ) = arg min n1
ˆ Φ(z, g(z, α))ρ1 (z) dz

Z


+ n2 Φ(z, g(z, α))ρ2 (z) dz | α ∈ Λ .

Z


Ìèíèìàêñíûé ïîäõîä

Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
˜ sup I(α | P) | α ∈ Λ .
P∈P(ζ)


Ìèíèìàêñíûé ïîäõîä

Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
˜ sup I(α | P) | α ∈ Λ .
P∈P(ζ)

Îòêðûòûå âîïðîñû:
âûáîð ïîäõîäÿùåãî P(ζ)
îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)
âû÷èñëèòåëüíàÿ ñëîæíîñòü


Ìèíèìèçàöèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà

Òðàäèöèîííûé äëÿ òåîðèè îáó÷åíèÿ ïîäõîä ñîñòîèò â
ìèíèìèçàöèè
(4)
α∗ (ζ) = arg min {Iemp (α | ζ) | α ∈ Λ}

ýìïèðè÷åñêîãî ôóíêöèîíàëà Iemp (α | ζ), ñïåöèàëüíûì îáðàçîì
ïîäîáðàííîãî ïî âûáîðêå ζ .
Ñïîñîá ïîñòðîåíèÿ ôóíêöèîíàëà Iemp ìîæåò ñèëüíî ðàçíèòüñÿ
îò çàäà÷è ê çàäà÷å (è ìåòîäà ê ìåòîäó) è êàæäûé ðàç áóäåò
îãîâàðèâàòüñÿ îòäåëüíî.
Â áîëüøèíñòâå ñëó÷àåâ ìîæíî îãðàíè÷èòüñÿ ôóíêöèîíàëàìè
âèäà
Iemp (α | ζ) = Φ(z, g(z, α)) dπ(z | ζ), (5)
Z

ãäå âåðîÿòíîñòíàÿ ìåðà π(z | ζ) (íå îáÿçàòåëüíî
ïðèíàäëåæàùàÿ ñåìåéñòâó P), îäíîçíà÷íî îïðåäåëÿåòñÿ
âûáîðêîé ζ .


Ýìïèðè÷åñêèé ðèñê

Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) ÷àñòíûé
ñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp (α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåé
ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l



ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l

Ëåãêî ïîêàçàòü, ÷òî òîãäà
l
i=1 Φ(zi , g(zi , α))
Iemp (α|ζ) = .
l



ìåðîé
|{i : zi ∈ A}|
π(A | ζ) = (A ∈ A)
l

Ëåãêî ïîêàçàòü, ÷òî òîãäà
l
i=1 Φ(zi , g(zi , α))
Iemp (α|ζ) = .
l

Óïðàæíåíèå 1.


Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ

Ïóñòü
 
 
¯ = inf{I(α | P) : α ∈ Λ} = inf
I Φ(z, g(z, α)) dP(z) : α ∈ Λ
 
Z

äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.
Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)).
Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N,
Pl (ε) = P(I(α∗ (ζ)) − ¯
I ε)


Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ

Ïóñòü
 
 
¯ = inf{I(α | P) : α ∈ Λ} = inf
I Φ(z, g(z, α)) dP(z) : α ∈ Λ
 
Z

äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.
Àëãîðèòì îáó÷åíèÿ Alg : l Z l → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗ (ζ) (ôóíêöèþ g(·, α∗ (ζ)).
Äëÿ ïðîèçâîëüíûõ ε 0 è l ∈ N,
Pl (ε) = P(I(α∗ (ζ)) − ¯
I ε)

Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõ
äëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1 − η, åñëè
Pl (ε) η.


Àñèìïòîòè÷åñêàÿ àïïðîêñèìèðóåìîñòü

Çàäà÷à
 

(6)
 
min{Iemp (α | ζ)} = min Φ(z, g(z, α)) dπ(z | ζ) : α ∈ Λ
 
Z

êîððåêòíî àïïðîêñèìèðóåò çàäà÷ó
 

(7)
 
inf{I(α | P)} = inf Φ(z, g(z, α)) dP(z)) : α ∈ Λ
 
Z

åñëè äëÿ ïðîèçâîëüíîãî ε 0
Pl (ε) − − 0.
−→
l→∞


Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè

Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1 , y1 ), . . . , (xl , yl )), (8)
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ}
òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è,
ñîîòâåòñòâåííî,
I(α|P) = Ψ(y − f (x, α)) dP(x, y)
X×Y

äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.


Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè

Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1 , y1 ), . . . , (xl , yl )), (8)
F = {f (·, α) : X → Y | α ∈ Λ}
òàêîå, ÷òî g(z, α) = y − f (x, α), Φ(z, g(z, α)) = Ψ(y − f (x, α)) è,
ñîîòâåòñòâåííî,
I(α|P) = Ψ(y − f (x, α)) dP(x, y)
X×Y

äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åé
âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿ
åé çàäà÷à (6) çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîé
çàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì


Õàðàêòåðíûå ÷àñòíûå ñëó÷àè

çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè (è êàê ÷àñòíûé ñëó÷àé çàäà÷à
èíòåðïðåòàöèè ïðÿìûõ èçìåðåíèé)
çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà.


Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ

Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.
Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ
(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå
ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .



ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå
χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü
ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).



ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 .
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå
χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü
ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ},

Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäà
ðàâíîçíà÷íûìè.



Çàäàâøèñü Â.Ï. (X × Y, A, P) ñ èçâåñòíûìè ìíîæåñòâîì
ýëåìåíòàðíûõ èñõîäîâ X × Y è σ-àëãåáðîé ñîáûòèé A è â
îáùåì ñëó÷àå íåèçâåñòíîé âåðîÿòíîñòíîé ìåðîé P,
ïðåäïîëàãàåì äëÿ êàæäîãî ïðàâèëà f (·, α) èçìåðèìûì
ìíîæåñòâî
Aα = {(x, y) | y = f (x, α)} ∈ A.
Ñîîòâåòñòâåííî, êàæäîìó α ∈ Λ ìîæåò áûòü ñîïîñòàâëåíî
÷èñëî
I(α|P) = P(Aα ) ≡ dP(x, y) = 1Aα (x, y) dP(x, y),
Aα X×Y



Ïðè íàøèõ äîïóùåíèÿõ
1Aα (x, y) ≡ (y − f (x, α))2 ,

Äëÿ èçâåñòíîé âåðîÿòíîñòíîé ìåðû P çàäà÷à îáó÷åíèÿ
ðàñïîçíàâàíèþ îáðàçîâ ñâîäèòñÿ ê âàðèàöèîííîé çàäà÷å
 

(9)
 
min (y − f (x, α))2 dP(x, y) | α ∈ Λ ,
 
X×Y

äîïóñêàþùåé â ðÿäå ñëó÷àåâ àíàëèòè÷åñêîå ðåøåíèå.



Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè

P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè
P(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå

èíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.



Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìè

P1 = P(y = 1) è P0 = P(y = 0) = 1 − P1 è óñëîâíûìè ìåðàìè
P(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûå

èíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.
Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.
Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìû
äëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k 2.
Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.


Ñóùåñòâîâàíèå áàéåñîâñêîãî êëàññèôèêàòîðà

Îãðàíè÷èìñÿ ðàññìîòðåíèåì ÷àñòíîãî ñëó÷àÿ, â êîòîðîì
ìåðû P(x|y = 1) è P(x|y = 0) àáñîëþòíî íåïðåðûâíû è
çàäàþòñÿ ïëîòíîñòÿìè ρ1 (x) è ρ0 (x), ñîîòâåòñòâåííî. Ëåãêî
âèäåòü, ÷òî íàèìåíüøåå çíà÷åíèå èíòåãðàëà
(y−f (x))2 dP(x, y) = P1 (1−f (x))2 ρ1 (x) dx+P0 f (x)ρ0 (x) dx
X×Y X X

äîñòèãàåòñÿ íà ôóíêöèè
1, P1 · ρ1 (x) ≥ P0 · ρ0 (x),
¯(x) =
f
â ïðîòèâíîì ñëó÷àå,
0,

èìåíóåìîé áàéåñîâñêèì êëàññèôèêàòîðîì.



Â îáùåé ñèòóàöèè, êîãäà èíôîðìàöèÿ î ìåðå P çàäàåòñÿ âûáîðêîé
ζ = ((x1 , y1 ), . . . , (xl , yl )), çàäà÷à àïïðîêñèìèðóåòñÿ:

min
α∈Λ
(y − f (x, α))2 dπ(x, y | ζ). (10)
X×Y

÷àñòíûì ñëó÷àåì çàäà÷è (6).


Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè

Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,
ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå
ìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) = y dP(y|x).
Y

Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé
ðåãðåññèè (ðåãðåññèåé).
Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è
ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M.


Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè

Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,
ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîå
ìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) = y dP(y|x).
Y

Îòîáðàæåíèå x → y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåé
ðåãðåññèè (ðåãðåññèåé).
Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ Y X , y(·) ∈ M è
ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y | α ∈ Λ} ⊂ M.

Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãî
ïðèáëèæåíèÿ â ñåìåéñòâå F :
min d(y(·), f (·, α)).
α∈Λ
(11)


Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà

Ïóñòü M = L2 (P) ãèëüáåðòîâî ïðîñòðàíñòâî èíòåãðèðóåìûõ
ñ êâàäðàòîì (ïî ìàðãèíàëüíîé ìåðå) ôóíêöèé è íîðìîé
g = g2 (x) dP(x) ≡ g2 (x) dP(x, y).
X X×Y

Î÷åâèäíî, îïðåäåëåííîå òàêèì îáðàçîì ïðîñòðàíñòâî M
ÿâëÿåòñÿ ìåòðè÷åñêèì, ñî ñòàíäàðòíîé ìåòðèêîé
d(g, h) = g − h .
Îïðåäåëèì ôóíêöèîíàë I ñîîòíîøåíèåì
α → I(α | P) = (y − f (x, α))2 dP(x, y)
X×Y


Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà (ctd.)

I(α | P) = (y − f (x, α))2 dP(x, y) = (y − y(x))2 dP(x, y)−
X×Y X×Y
 

−2 (y(x)−f (x, α))  (y − y(x)) dP(y|x) dP(x)+ (y(x)−f (x, α))2 dP(x) =
X Y X

=0

= (y−y(x))2 dP(x, y)+d2 (y(·), f (·, α)) = const(α)+d2 (y(·), f (·, α)).
X×Y


Èíòåðïðåòàöèÿ ïðÿìûõ èçìåðåíèé

÷àñòíûé ñëó÷àé çàäà÷è î ðåãðåññèè
F = {f (·, α) : X → R | α ∈ Λ},

òðåáóåòñÿ íàéòè f (·, α) (ïàðàìåòð α) ïî ðåçóëüòàòàì
¯ ¯
ïðèáëèæåííûõ èçìåðåíèé (x1 , y1 ), . . . , (xl , yl ), ãäå
yi = f (xi , α) + ξi ,
¯ (i ∈ {1, 2, . . . , l} = Nl ),

à ñëó÷àéíûå íåçàâèñèìûå íåñìåùåííûå ïîãðåøíîñòè,
ξi
.
Eξi2 ∞


Èíòåðïðåòàöèÿ ðåçóëüòàòîâ êîñâåííûõ ýêñïåðèìåíòîâ

Èñêîìàÿ ôóíêöèîíàëüíàÿ çàâèñèìîñòü íåäîñòóïíà äëÿ
íåïîñðåäñòâåííûõ èçìåðåíèé, äàæå ñ ïîãðåøíîñòüþ.
Ïóñòü Y ⊂ R, çàäàíû ìåòðè÷åñêèå ïðîñòðàíñòâà (M1 , d1 ) ⊂ Y T
è (M2 , d2 ) ⊂ Y X , ñåìåéñòâî ôóíêöèé
F = {fα : T → Y | α ∈ Λ} ⊂ M1

è íåïðåðûâíûé îïåðàòîð A : M1 → M2 , âçàèìíî îäíîçíà÷íûé
íà A(M1 ).
Òðåáóåòñÿ ðåøèòü çàäà÷ó
min{d1 (f , F) | A(f ) = F}

ïðè óñëîâèè
yi = F(xi ) + ξi , (i ∈ Nm ),
ïðè÷åì ñëó÷àéíûå âåëè÷èíû ξi , êàê è ðàíåå, íåçàâèñèìû â
ñîâîêóïíîñòè è óäîâëåòâîðÿþò óñëîâèÿì Eξi = 0, Eξi2 ∞.


Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà

Óïðàæíåíèå 5. Ïîêàçàòü, ÷òî åñëè
(M2 , d2 ) = L2 (P) ïðîñòðàíñòâî ôóíêöèé, èíòåãðèðóåìûõ ñ
êâàäðàòîì (ïî ìåðå P),
îïåðàòîð A−1 íåïðåðûâåí íà ìíîæåñòâå A(M1 ),
òî èñõîäíàÿ çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî
ýêñïåðèìåíòà ýêâèâàëåíòíà çàäà÷å
min (y − A(fα )(x))2 dP(x, y)
X×Y


Âûâîäû

ìíîãèå çàäà÷è àíàëèçà äàííûõ äîïóñêàþò ñâåäåíèå ê çàäà÷å
ìèíèìèçàöèè ïîäõîäÿùåãî ôóíêöèîíàëà ñðåäíåãî ðèñêà
â ñëó÷àå èçâåñòíîé âåðîÿòíîñòíîé ìåðû ïîëó÷àåìàÿ çàäà÷à
ìîæåò áûòü ðåøåíà ìåòîäàìè âàðèàöèîííîãî àíàëèçà, è â
íåêîòîðûõ ÷àñòíûõ ïîñòàíîâêàõ äîïóñêàåò àíàëèòè÷åñêîå
ðåøåíèå
ïðîöåäóðà îáó÷åíèÿ îáóñëîâëåíà íåèçâåñòíîñòüþ çàêîíîâ
ðàñïðåäåëåíèÿ è ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãî
ýìïèðè÷åñêîãî ôóíêöèîíàëà

20130216 machinelearning khachay_lecture01

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (14)

Destaque

Destaque (8)

Mais de Computer Science Club

Mais de Computer Science Club (20)

20130216 machinelearning khachay_lecture01