1.
Պակ-Բայեսյան ընդհանրացման
գնահատականներ
Հանդիպում 2՝ Կատոնիի ընդհանրացման գնահատական
Արշակ Մինասյան
Նոյեմբերի 24, 2021
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 1 / 12

2.
Սեմինարների մասին
Կանենք 5-6 սեմինար։
Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։
Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն
անել:
Սեմինարները կտեսագրվեն, վիդեոները և սլայդները
կտեղադրենք mlevn.org-ում։
Հայտարարությունները կանենք ML reading group Yerevan
խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan
Տերմինների հայերեն թարգմանության մասին
քննարկումները այստեղ՝ https://ml-hye.talkyard.net :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 2 / 12

3.
Նախորդ սեմինարին…
Պնդում (Պակ Բայեսյան գնահատականներ վերջավոր
և անվերջ դասերի համար)
Ենթադրենք ℓ(y′
, y) ∈ [0, 1]. Ապա կամայական P տվյալների
բաշխման և ĥ ուսուցման ալգորիթմի և
1 վերջավոր |H| < ∞ հիպոթեզների դասի համար
P

4.
R(ĥ) − r(ĥ)

5.
≥
s
1
2n
log
2 |H|
δ
!
≤ δ :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 3 / 12

6.
Նախորդ սեմինարին…
Պնդում (Պակ Բայեսյան գնահատականներ վերջավոր
և անվերջ դասերի համար)
Ենթադրենք ℓ(y′
, y) ∈ [0, 1]. Ապա կամայական P տվյալների
բաշխման և ĥ ուսուցման ալգորիթմի և
1 վերջավոր |H| ∞ հիպոթեզների դասի համար
P

7.
R(ĥ) − r(ĥ)

8.
≥
s
1
2n
log
2 |H|
δ
!
≤ δ :
2 անվերջ հաշվելի H = {h1, h2, . . . } և ρ բաշխման համար,
այնպես որ ρ(hi) ≥ 0 և
P∞
i=1 ρ(hi) = 1
P ∀i, |R(hi) − r(hi)| ≤
s
1
2n
log
2
ρ(hi)δ
!
≥ 1 − δ :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 3 / 12

9.
Բովանդակություն
Կուլբակ-Լայբլեռի տարամիտություն (KL divergence)
Դոնսկեռ-Վարադհանի վարիացոն բանաձև, Գիբսի չափ
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 4 / 12

10.
Բովանդակություն
Կուլբակ-Լայբլեռի տարամիտություն (KL divergence)
Դոնսկեռ-Վարադհանի վարիացոն բանաձև, Գիբսի չափ
Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական
Կատոնիի ընդհանրացման գնահատականի
կախվածությունը պարամետրից, հետագա օպտիմիզացիայի
քայլեր
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 4 / 12

11.
Կուլբակ-Լայբլերի տարամիտություն
Սահմանում. Դիցուք ν, µ երկու հավանականային չափեր են
P(Θ)-ից։ Ապա ν-ի Կուլբակ-Լայբլերի տարամիտությունը µ-ից
սահմանվում է
KL(µ||ν) =
Z
log
dµ
dν
(θ)
!
µ(dθ), (1)
եթե dµ
dν (θ) գոյություն ունի (ν ≪ µ), հակառակ դեպքում՝
KL(µ||ν) = +∞.1
1տե՛ս https://www.stat.cmu.edu/~cshalizi/754/2006/notes/lecture-28.pdf
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

12.
Կուլբակ-Լայբլերի տարամիտություն
Դիսկրետ բաշխումների դեպքում (հաշվելի Θ)
Կուլբակ-Լայբլերի տարամիտությունը դառնում է
KL(µ||ν) =
X
θ∈Θ
log
µ(θ)
ν(θ)
!
µ(θ) :
▶ Վերևում 0 log 0
0
-ն և (0 log 0)-ն 0 են սահմանվում։
▶ KL-ը վերջավոր արժեք ունի այն և միայն այն դեպքում, երբ
∀θ ∈ σ(Θ), ν(θ) = 0 ⇒ µ(θ) = 0։
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

13.
Կուլբակ-Լայբլերի տարամիտություն
Եթե µ-ն և ν-ն ունեն խտության ֆունկցիաներ p(θ) և q(θ),
ապա
KL(µ||ν) =
Z
θ∈Θ
log
p(θ)
q(θ)
p(θ)dθ = Ep
log
p(θ)
q(θ)
:
▶ Վերևում 0 log 0
0
-ն և (0 log 0)-ն 0 են սահմանվում։
▶ KL-ը վերջավոր արժեք ունի այն և միայն այն դեպքում, երբ
q(θ) = 0 ⇒ p(θ) = 0։
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

14.
Կուլբակ-Լայբլերի տարամիտություն
Հատկություններ՝
▶ KL (µ∥µ) = 0:
▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։
▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν
դեպքում։
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

15.
Կուլբակ-Լայբլերի տարամիտություն
Հատկություններ՝
▶ KL (µ∥µ) = 0:
▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։
▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν
դեպքում։
Ապացույց։
KL(µ||ν) =
Z
log
dµ
dν
(θ)
!
µ(dθ) = −Eµ
log
dν
dµ
#
Jensen
≥ − log Eµ
dν
dµ
#
| {z }
=1
= 0 :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

16.
Կուլբակ-Լայբլերի տարամիտություն
Հատկություններ՝
▶ KL (µ∥µ) = 0:
▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։
▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν
դեպքում։
Ապացույց։
KL(µ||ν) =
Z
log
p(θ)
q(θ)
p(θ)dθ = − Ep
log
q(θ)
p(θ)
Jensen
≥ − log Ep
q(θ)
p(θ)
| {z }
=1
= 0 :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

17.
Դոնսկեռ-Վարադհանի վարիացիոն բանաձև
Պնդում (Դոնսկեռ-Վարադհան)
Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի
համար ճիշտ է
log Eθ∼π[eh(θ)
] = sup
ρ∈P(Θ)
Eθ∼ρ[h(θ)] − KL(ρ||π)
: (1)
Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար
ունենք հետևյալ առնչությունը՝
dπh
dπ
(θ) =
eh(θ)
Eθ′∼π[eh(θ′)]
: (2)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 6 / 12

18.
Դոնսկեռ-Վարադհանի վարիացիոն բանաձև
Ապացույց։ Նկատենք, որ կամայական ρ ∈ P(Θ)-ի և վերոնշյալ πh-ի
համար
KL(ρ||πh) − KL(ρ||π) = −
Z
log
dπh
dπ
(θ)ρ(dθ)
= −Eθ∼ρ[h(θ)] + log Eθ∼πeh(θ)
:
Հետևաբար
Eθ∼ρ[h(θ)] − KL(ρ||π) = log Eθ∼π[eh(θ)
] − KL(ρ||πh) :
Օգտագործելով KL(ρ||πh) ≥ 0 և վերցնելով սուպրեմում երկու կողմից՝
ստանում ենք, որ
sup
ρ∈P(Θ)
Eθ∼ρ[h(θ)] − KL(ρ||π)
= log Eθ∼π[eh(θ)
],
որտեղ հավասարության դեպքը ստացվում է ρ = πh կետում։
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 7 / 12

19.
Դոնսկեռ-Վարադհանի վարիացիոն բանաձև
Պնդում (Դոնսկեռ-Վարադհան)
Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի
համար ճիշտ է
log Eθ∼π[eh(θ)
] = sup
ρ∈P(Θ)
Eθ∼ρ[h(θ)] − KL(ρ||π)
: (3)
Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար
ունենք հետևյալ առնչությունը՝
dπh
dπ
(θ) =
eh(θ)
Eθ′∼π[eh(θ′)]
: (4)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 8 / 12

20.
Դոնսկեռ-Վարադհանի վարիացիոն բանաձև
Պնդում (Դոնսկեռ-Վարադհան)
Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի
համար ճիշտ է
log Eθ∼π[eh(θ)
] = sup
ρ∈P(Θ)
Eθ∼ρ[h(θ)] − KL(ρ||π)
: (3)
Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար
ունենք հետևյալ առնչությունը՝
dπh
dπ
(θ) =
eh(θ)
Eθ′∼π[eh(θ′)]
: (4)
Եթե նշանակենք π-ի խտության ֆունկցիան p-ով, իսկ πh՝ ph-ով,
ապա (4) կստանա հետևյալ տեսքը՝
ph(θ)
p(θ)
=
eh(θ)
Ep[eh]
(5)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 8 / 12

21.
Կատոնիի Պակ-Բայեսյան
ընդհանրացման գնահատական
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 9 / 12

22.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Ֆիքսենք հավանականային չափ π ∈ P(Θ)։ π-ն կանվանենք նախնական
(prior) բաշխում։
Թեորեմ
Կամայական λ 0 և δ ∈ (0, 1) համար
PS
∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
≥ 1 − δ : (6)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

23.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Ապացույց։ Ըստ Հյոֆդինգի լեմմայի ունենք, որ ∀θ ∈ Θ
ES [eλ(R(θ)−r(θ))
] ≤ e
λ2
8n :
Վերցնելով մաթսպասում ըստ θ ∼ π-ի և օգտագործելով Ֆուբինի
թեորեմը՝ ստանում ենք
Eθ∼πES [eλ(R(θ)−r(θ))
] = ES Eθ∼π[eλ(R(θ)−r(θ))
] ≤ e
λ2
8n :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

24.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Ապացույց։ Ըստ Հյոֆդինգի լեմմայի ունենք, որ ∀θ ∈ Θ
ES [eλ(R(θ)−r(θ))
] ≤ e
λ2
8n :
Վերցնելով մաթսպասում ըստ θ ∼ π-ի և օգտագործելով Ֆուբինի
թեորեմը՝ ստանում ենք
Eθ∼πES [eλ(R(θ)−r(θ))
] = ES Eθ∼π[eλ(R(θ)−r(θ))
] ≤ e
λ2
8n :
Կիրառելով Դոնսկեռ-Վարադհանի բանաձևը՝
ES
exp sup
ρ∈P(Θ)
λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)
!#
≤ e
λ2
8n :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

25.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Կիրառելով Դոնսկեռ-Վարադհանի բանաձևը՝
ES
exp sup
ρ∈P(Θ)
λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)
!#
≤ e
λ2
8n :
Նկատենք, որ ըստ Չեռնոֆի անհավասարության ունենք, որ
PS
sup
ρ∈P(Θ)
{λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)} −
λ2
8n
s
#
≤ ES
exp sup
ρ∈P(Θ)
λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) −
λ2
8n
!#
· e−s
≤ e−s
:
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

26.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Նկատենք, որ ըստ Չեռնոֆի անհավասարության ունենք, որ
PS
sup
ρ∈P(Θ)
{λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)} −
λ2
8n
s
#
≤ ES
exp sup
ρ∈P(Θ)
λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) −
λ2
8n
!#
· e−s
≤ e−s
:
Վերցնելով e−s
= δ ստանում ենք, որ s = log(1/δ), իսկ վերջին
անհավասարությունը դառնում է
PS
sup
ρ∈P(Θ)
λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) −
λ2
8n
log
1
δ
#
≤ δ ⇒
PS
∃ρ ∈ P(Θ), Eθ∼ρR(θ) Eθ∼ρr(θ) +
KL(ρ||π) + log(1/δ)
λ
+
λ
8n
#
≤ δ :
Ապացույցը ավարտելու համար մնում է դիտարկել այս պատահույթի
լրացումը։
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

27.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Ֆիքսենք հավանականային չափ π ∈ P(Θ)։ π-ն կանվանենք նախնական
(prior) բաշխում։
Թեորեմ
Կամայական λ 0 և δ ∈ (0, 1) համար
PS
∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
≥ 1 − δ : (6)
Նկատողություն։ Քանի որ (6)-ի մեջ անհավասարությունը տեղի ունի
բոլոր ρ-երի համար, կարելի է այն ընտրել տվյալներից կախված։
Հետևաբար (6)-ն կարելի է գրել ցանկացած ρ̂(S) ստոխաստիկ
ուսուցման ալգորիթմի համար՝
PS
Eθ∼ρ̂[R(θ)] ≤ Eθ∼ρ̂[r(θ)] +
λ
8n
+
KL(ρ̂||π) + log 1
δ
λ
≥ 1 − δ :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

28.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Նկատողություն։ Քանի որ (6)-ի մեջ անհավասարությունը տեղի ունի
բոլոր ρ-երի համար, կարելի է այն ընտրել տվյալներից կախված։
Հետևաբար (6)-ն կարելի է գրել ցանկացած ρ̂(S) ստոխաստիկ
ուսուցման ալգորիթմի համար՝
PS
Eθ∼ρ̂[R(θ)] ≤ Eθ∼ρ̂[r(θ)] +
λ
8n
+
KL(ρ̂||π) + log 1
δ
λ
≥ 1 − δ :
Մասնավորապես, կարող ենք ρ̂-ն ընտրել այնպես, որ
ընդհանրացման գնահատականը լինի հնարավորինս փոքր՝
b
ρλ(S) = arg min
ρ∈P(Θ)
(
Eθ∼ρr(θ) +
KL(ρ||π)
λ
)
:
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

29.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Մասնավորապես, կարող ենք ρ̂-ն ընտրել այնպես, որ
ընդհանրացման գնահատականը լինի հնարավորինս փոքր՝
b
ρλ(S) = arg min
ρ∈P(Θ)
(
Eθ∼ρr(θ) +
KL(ρ||π)
λ
)
:
Այն գոյություն ունի ըստ Դոնսկեռ-Վարադհանի բանաձևի և ունի
հետյալ տեսքը՝
b
ρλ(S)(dθ) =
e−λr(θ)
π(dθ)
Eν∼π[e−λr(ν)]
: (Gibbs distribution)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

30.
Կատոնիի Պակ-Բայեսյան ընդհանրացման
գնահատական
Այն գոյություն ունի ըստ Դոնսկեռ-Վարադհանի բանաձևի և ունի
հետյալ տեսքը՝
b
ρλ(S)(dθ) =
e−λr(θ)
π(dθ)
Eν∼π[e−λr(ν)]
: (Gibbs distribution)
Հետևաբար Կատոնիի գնահատանը p̂λ Գիբսի բաշխման համար
ստանում է հետևյալ տեսքը՝
PS
Eθ∼b
ρλ
[R(θ)] ≤ inf
ρ∈P(Θ)
h
Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
i
≥ 1 − δ :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

31.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Ենթադրենք Θ-ն հաշվելի անվերջ է՝ Θ = {θ1, θ2, . . .}։ Այս դեպքում
նախնական բաշխումը՝ π-ն, կլինի այսպիսին՝
π(θi) ≥ 0,
∞
X
i=1
π(θi) = 1 : (6)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

32.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Ենթադրենք Θ-ն հաշվելի անվերջ է՝ Θ = {θ1, θ2, . . .}։ Այս դեպքում
նախնական բաշխումը՝ π-ն, կլինի այսպիսին՝
π(θi) ≥ 0,
∞
X
i=1
π(θi) = 1 : (6)
Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}:
Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝
D = {ρi : i ∈ N} ⊂ P(Θ) :
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

33.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}:
Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝
D = {ρi : i ∈ N} ⊂ P(Θ) :
Կատոնիի գնահատականից ունենք որ
PS
∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
≥ 1 − δ : (6)
Հետևաբար՝
PS
∀ρ ∈ D, Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

34.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}:
Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝
D = {ρi : i ∈ N} ⊂ P(Θ) :
Հետևաբար՝
PS
∀ρ ∈ D, Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] +
λ
8n
+
KL(ρ||π) + log 1
δ
λ
≥ 1 − δ : (6)
Սա նույն է ինչ
PS
∀i ∈ N, Eθ∼ρi
[R(θ)] ≤ Eθ∼ρi
[r(θ)] +
λ
8n
+
KL(ρi||π) + log 1
δ
λ
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

35.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}:
Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝
D = {ρi : i ∈ N} ⊂ P(Θ) :
Սա նույն է ինչ
PS
∀i ∈ N, Eθ∼ρi
[R(θ)] ≤ Eθ∼ρi
[r(θ)] +
λ
8n
+
KL(ρi||π) + log 1
δ
λ
≥ 1 − δ : (6)
Ըստ ρi-ի սահմանման կստանանք որ
PS
∀i ∈ N, R(θi) ≤ r(θi) +
λ
8n
+
KL(ρi||π) + log 1
δ
λ
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

36.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Ըստ ρi-ի սահմանման կստանանք որ
PS
∀i ∈ N, R(θi) ≤ r(θi) +
λ
8n
+
KL(ρi||π) + log 1
δ
λ
≥ 1 − δ : (6)
Նկատենք որ KL (ρi∥π) =
P
j ρi(θj) log
ρi(θj)
π(θj)
= log
1
π(θi)
: Հետևաբար՝
PS
∀i ∈ N, R(θi) ≤ r(θi) +
λ
8n
+
log 1
π(θi)
+ log 1
δ
λ
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

37.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Նկատենք որ KL (ρi∥π) =
P
j ρi(θj) log
ρi(θj)
π(θj)
= log
1
π(θi)
: Հետևաբար՝
PS
∀i ∈ N, R(θi) ≤ r(θi) +
λ
8n
+
log 1
π(θi)
+ log 1
δ
λ
≥ 1 − δ : (6)
Վերջապես, նկատենք որ 2
q
b
a
≤ λ
a
+ b
λ
։ Հետևաբար՝
λ
8n
+
log 1
δπ(θi)
λ
≥ 2
s
log 1
δπ(θi)
8n
:
Տեղադրելով (6)-ում ստանում ենք՝
PS ∀i ∈ N, R(θi) ≤ r(θi) +
s
1
2n
log
1
δπ(θi)
!
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

38.
Կիրառություն՝ հիպոթեզների հաշվելի
անվերջ դաս
Վերջապես, նկատենք որ 2
q
b
a
≤ λ
a
+ b
λ
։ Հետևաբար՝
λ
8n
+
log 1
δπ(θi)
λ
≥ 2
s
log 1
δπ(θi)
8n
:
Տեղադրելով (6)-ում ստանում ենք՝
PS ∀i ∈ N, R(θi) ≤ r(θi) +
s
1
2n
log
1
δπ(θi)
!
≥ 1 − δ : (6)
Անցյալ սեմինարին ստացել էինք որ
P ∀i, |R(θi) − r(θi)| ≤
s
1
2n
log
2
δπ(θi)
!
≥ 1 − δ : (7)
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

39.
Շնորհակալություն
Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 12 / 12