PAC-Bayesian-generalization-bounds-seminar-2

1. Պակ-Բայեսյան ընդհանրացման գնահատականներ Հանդիպում 2՝ Կատոնիի ընդհանրացման գնահատական Արշակ Մինասյան Նոյեմբերի 24, 2021 Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 1 / 12

2. Սեմինարների մասին Կանենք 5-6 սեմինար։ Չորեքշաբթի օրերին, երեկոյան ժամը 7-ին։ Ցանկացած պահի կարող եք հարց տալ կամ դիտողություն անել: Սեմինարները կտեսագրվեն, վիդեոները և սլայդները կտեղադրենք mlevn.org-ում։ Հայտարարությունները կանենք ML reading group Yerevan խմբում՝ https://groups.google.com/g/ml-reading-group-yerevan Տերմինների հայերեն թարգմանության մասին քննարկումները այստեղ՝ https://ml-hye.talkyard.net : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 2 / 12

3. Նախորդ սեմինարին… Պնդում (Պակ Բայեսյան գնահատականներ վերջավոր և անվերջ դասերի համար) Ենթադրենք ℓ(y′ , y) ∈ [0, 1]. Ապա կամայական P տվյալների բաշխման և ĥ ուսուցման ալգորիթմի և 1 վերջավոր |H| < ∞ հիպոթեզների դասի համար P

6. R(ĥ) − r(ĥ)

9. ≥ s 1 2n log 2 |H| δ ! ≤ δ : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 3 / 12

10. Նախորդ սեմինարին… Պնդում (Պակ Բայեսյան գնահատականներ վերջավոր և անվերջ դասերի համար) Ենթադրենք ℓ(y′ , y) ∈ [0, 1]. Ապա կամայական P տվյալների բաշխման և ĥ ուսուցման ալգորիթմի և 1 վերջավոր |H| ∞ հիպոթեզների դասի համար P

13. R(ĥ) − r(ĥ)

16. ≥ s 1 2n log 2 |H| δ ! ≤ δ : 2 անվերջ հաշվելի H = {h1, h2, . . . } և ρ բաշխման համար, այնպես որ ρ(hi) ≥ 0 և P∞ i=1 ρ(hi) = 1 P ∀i, |R(hi) − r(hi)| ≤ s 1 2n log 2 ρ(hi)δ ! ≥ 1 − δ : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 3 / 12

17. Բովանդակություն Կուլբակ-Լայբլեռի տարամիտություն (KL divergence) Դոնսկեռ-Վարադհանի վարիացոն բանաձև, Գիբսի չափ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 4 / 12

18. Բովանդակություն Կուլբակ-Լայբլեռի տարամիտություն (KL divergence) Դոնսկեռ-Վարադհանի վարիացոն բանաձև, Գիբսի չափ Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Կատոնիի ընդհանրացման գնահատականի կախվածությունը պարամետրից, հետագա օպտիմիզացիայի քայլեր Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 4 / 12

19. Կուլբակ-Լայբլերի տարամիտություն Սահմանում. Դիցուք ν, µ երկու հավանականային չափեր են P(Θ)-ից։ Ապա ν-ի Կուլբակ-Լայբլերի տարամիտությունը µ-ից սահմանվում է KL(µ||ν) = Z log dµ dν (θ) ! µ(dθ), (1) եթե dµ dν (θ) գոյություն ունի (ν ≪ µ), հակառակ դեպքում՝ KL(µ||ν) = +∞.1 1տե՛ս https://www.stat.cmu.edu/~cshalizi/754/2006/notes/lecture-28.pdf Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

20. Կուլբակ-Լայբլերի տարամիտություն Դիսկրետ բաշխումների դեպքում (հաշվելի Θ) Կուլբակ-Լայբլերի տարամիտությունը դառնում է KL(µ||ν) = X θ∈Θ log µ(θ) ν(θ) ! µ(θ) : ▶ Վերևում 0 log 0 0 -ն և (0 log 0)-ն 0 են սահմանվում։ ▶ KL-ը վերջավոր արժեք ունի այն և միայն այն դեպքում, երբ ∀θ ∈ σ(Θ), ν(θ) = 0 ⇒ µ(θ) = 0։ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

21. Կուլբակ-Լայբլերի տարամիտություն Եթե µ-ն և ν-ն ունեն խտության ֆունկցիաներ p(θ) և q(θ), ապա KL(µ||ν) = Z θ∈Θ log p(θ) q(θ) p(θ)dθ = Ep log p(θ) q(θ) : ▶ Վերևում 0 log 0 0 -ն և (0 log 0)-ն 0 են սահմանվում։ ▶ KL-ը վերջավոր արժեք ունի այն և միայն այն դեպքում, երբ q(θ) = 0 ⇒ p(θ) = 0։ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

22. Կուլբակ-Լայբլերի տարամիտություն Հատկություններ՝ ▶ KL (µ∥µ) = 0: ▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։ ▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν դեպքում։ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

23. Կուլբակ-Լայբլերի տարամիտություն Հատկություններ՝ ▶ KL (µ∥µ) = 0: ▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։ ▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν դեպքում։ Ապացույց։ KL(µ||ν) = Z log dµ dν (θ) ! µ(dθ) = −Eµ log dν dµ # Jensen ≥ − log Eµ dν dµ # | {z } =1 = 0 : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

24. Կուլբակ-Լայբլերի տարամիտություն Հատկություններ՝ ▶ KL (µ∥µ) = 0: ▶ Ընդհանուր դեպքում KL (µ∥ν) ̸= KL (ν∥µ)։ ▶ KL (µ∥ν) ≥ 0։ Հավասարությունն տեղի ունի միայն µ = ν դեպքում։ Ապացույց։ KL(µ||ν) = Z log p(θ) q(θ) p(θ)dθ = − Ep log q(θ) p(θ) Jensen ≥ − log Ep q(θ) p(θ) | {z } =1 = 0 : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 5 / 12

25. Դոնսկեռ-Վարադհանի վարիացիոն բանաձև Պնդում (Դոնսկեռ-Վարադհան) Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի համար ճիշտ է log Eθ∼π[eh(θ) ] = sup ρ∈P(Θ) Eθ∼ρ[h(θ)] − KL(ρ||π) : (1) Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար ունենք հետևյալ առնչությունը՝ dπh dπ (θ) = eh(θ) Eθ′∼π[eh(θ′)] : (2) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 6 / 12

26. Դոնսկեռ-Վարադհանի վարիացիոն բանաձև Ապացույց։ Նկատենք, որ կամայական ρ ∈ P(Θ)-ի և վերոնշյալ πh-ի համար KL(ρ||πh) − KL(ρ||π) = − Z log dπh dπ (θ)ρ(dθ) = −Eθ∼ρ[h(θ)] + log Eθ∼πeh(θ) : Հետևաբար Eθ∼ρ[h(θ)] − KL(ρ||π) = log Eθ∼π[eh(θ) ] − KL(ρ||πh) : Օգտագործելով KL(ρ||πh) ≥ 0 և վերցնելով սուպրեմում երկու կողմից՝ ստանում ենք, որ sup ρ∈P(Θ) Eθ∼ρ[h(θ)] − KL(ρ||π) = log Eθ∼π[eh(θ) ], որտեղ հավասարության դեպքը ստացվում է ρ = πh կետում։ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 7 / 12

27. Դոնսկեռ-Վարադհանի վարիացիոն բանաձև Պնդում (Դոնսկեռ-Վարադհան) Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի համար ճիշտ է log Eθ∼π[eh(θ) ] = sup ρ∈P(Θ) Eθ∼ρ[h(θ)] − KL(ρ||π) : (3) Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար ունենք հետևյալ առնչությունը՝ dπh dπ (θ) = eh(θ) Eθ′∼π[eh(θ′)] : (4) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 8 / 12

28. Դոնսկեռ-Վարադհանի վարիացիոն բանաձև Պնդում (Դոնսկեռ-Վարադհան) Ցանկացած չափելի և սահմանափակ h : Θ → R ֆունկցիայի համար ճիշտ է log Eθ∼π[eh(θ) ] = sup ρ∈P(Θ) Eθ∼ρ[h(θ)] − KL(ρ||π) : (3) Ավելին՝ πh = arg supρ∈P(Θ) {Eθ∼ρ[h(θ)] − KL(ρ||π)} բաշխման համար ունենք հետևյալ առնչությունը՝ dπh dπ (θ) = eh(θ) Eθ′∼π[eh(θ′)] : (4) Եթե նշանակենք π-ի խտության ֆունկցիան p-ով, իսկ πh՝ ph-ով, ապա (4) կստանա հետևյալ տեսքը՝ ph(θ) p(θ) = eh(θ) Ep[eh] (5) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 8 / 12

29. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 9 / 12

30. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Ֆիքսենք հավանականային չափ π ∈ P(Θ)։ π-ն կանվանենք նախնական (prior) բաշխում։ Թեորեմ Կամայական λ 0 և δ ∈ (0, 1) համար PS ∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ ≥ 1 − δ : (6) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

31. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Ապացույց։ Ըստ Հյոֆդինգի լեմմայի ունենք, որ ∀θ ∈ Θ ES [eλ(R(θ)−r(θ)) ] ≤ e λ2 8n : Վերցնելով մաթսպասում ըստ θ ∼ π-ի և օգտագործելով Ֆուբինի թեորեմը՝ ստանում ենք Eθ∼πES [eλ(R(θ)−r(θ)) ] = ES Eθ∼π[eλ(R(θ)−r(θ)) ] ≤ e λ2 8n : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

32. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Ապացույց։ Ըստ Հյոֆդինգի լեմմայի ունենք, որ ∀θ ∈ Θ ES [eλ(R(θ)−r(θ)) ] ≤ e λ2 8n : Վերցնելով մաթսպասում ըստ θ ∼ π-ի և օգտագործելով Ֆուբինի թեորեմը՝ ստանում ենք Eθ∼πES [eλ(R(θ)−r(θ)) ] = ES Eθ∼π[eλ(R(θ)−r(θ)) ] ≤ e λ2 8n : Կիրառելով Դոնսկեռ-Վարադհանի բանաձևը՝ ES exp sup ρ∈P(Θ) λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) !# ≤ e λ2 8n : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

33. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Կիրառելով Դոնսկեռ-Վարադհանի բանաձևը՝ ES exp sup ρ∈P(Θ) λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) !# ≤ e λ2 8n : Նկատենք, որ ըստ Չեռնոֆի անհավասարության ունենք, որ PS sup ρ∈P(Θ) {λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)} − λ2 8n s # ≤ ES exp sup ρ∈P(Θ) λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) − λ2 8n !# · e−s ≤ e−s : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

34. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Նկատենք, որ ըստ Չեռնոֆի անհավասարության ունենք, որ PS sup ρ∈P(Θ) {λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π)} − λ2 8n s # ≤ ES exp sup ρ∈P(Θ) λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) − λ2 8n !# · e−s ≤ e−s : Վերցնելով e−s = δ ստանում ենք, որ s = log(1/δ), իսկ վերջին անհավասարությունը դառնում է PS sup ρ∈P(Θ) λEθ∼ρ[R(θ) − r(θ)] − KL(ρ||π) − λ2 8n log 1 δ # ≤ δ ⇒ PS ∃ρ ∈ P(Θ), Eθ∼ρR(θ) Eθ∼ρr(θ) + KL(ρ||π) + log(1/δ) λ + λ 8n # ≤ δ : Ապացույցը ավարտելու համար մնում է դիտարկել այս պատահույթի լրացումը։ Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

35. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Ֆիքսենք հավանականային չափ π ∈ P(Θ)։ π-ն կանվանենք նախնական (prior) բաշխում։ Թեորեմ Կամայական λ 0 և δ ∈ (0, 1) համար PS ∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ ≥ 1 − δ : (6) Նկատողություն։ Քանի որ (6)-ի մեջ անհավասարությունը տեղի ունի բոլոր ρ-երի համար, կարելի է այն ընտրել տվյալներից կախված։ Հետևաբար (6)-ն կարելի է գրել ցանկացած ρ̂(S) ստոխաստիկ ուսուցման ալգորիթմի համար՝ PS Eθ∼ρ̂[R(θ)] ≤ Eθ∼ρ̂[r(θ)] + λ 8n + KL(ρ̂||π) + log 1 δ λ ≥ 1 − δ : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

36. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Նկատողություն։ Քանի որ (6)-ի մեջ անհավասարությունը տեղի ունի բոլոր ρ-երի համար, կարելի է այն ընտրել տվյալներից կախված։ Հետևաբար (6)-ն կարելի է գրել ցանկացած ρ̂(S) ստոխաստիկ ուսուցման ալգորիթմի համար՝ PS Eθ∼ρ̂[R(θ)] ≤ Eθ∼ρ̂[r(θ)] + λ 8n + KL(ρ̂||π) + log 1 δ λ ≥ 1 − δ : Մասնավորապես, կարող ենք ρ̂-ն ընտրել այնպես, որ ընդհանրացման գնահատականը լինի հնարավորինս փոքր՝ b ρλ(S) = arg min ρ∈P(Θ) ( Eθ∼ρr(θ) + KL(ρ||π) λ ) : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

37. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Մասնավորապես, կարող ենք ρ̂-ն ընտրել այնպես, որ ընդհանրացման գնահատականը լինի հնարավորինս փոքր՝ b ρλ(S) = arg min ρ∈P(Θ) ( Eθ∼ρr(θ) + KL(ρ||π) λ ) : Այն գոյություն ունի ըստ Դոնսկեռ-Վարադհանի բանաձևի և ունի հետյալ տեսքը՝ b ρλ(S)(dθ) = e−λr(θ) π(dθ) Eν∼π[e−λr(ν)] : (Gibbs distribution) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

38. Կատոնիի Պակ-Բայեսյան ընդհանրացման գնահատական Այն գոյություն ունի ըստ Դոնսկեռ-Վարադհանի բանաձևի և ունի հետյալ տեսքը՝ b ρλ(S)(dθ) = e−λr(θ) π(dθ) Eν∼π[e−λr(ν)] : (Gibbs distribution) Հետևաբար Կատոնիի գնահատանը p̂λ Գիբսի բաշխման համար ստանում է հետևյալ տեսքը՝ PS Eθ∼b ρλ [R(θ)] ≤ inf ρ∈P(Θ) h Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ i ≥ 1 − δ : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 10 / 12

39. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք Θ-ն հաշվելի անվերջ է՝ Θ = {θ1, θ2, . . .}։ Այս դեպքում նախնական բաշխումը՝ π-ն, կլինի այսպիսին՝ π(θi) ≥ 0, ∞ X i=1 π(θi) = 1 : (6) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

40. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Ենթադրենք Θ-ն հաշվելի անվերջ է՝ Θ = {θ1, θ2, . . .}։ Այս դեպքում նախնական բաշխումը՝ π-ն, կլինի այսպիսին՝ π(θi) ≥ 0, ∞ X i=1 π(θi) = 1 : (6) Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}: Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝ D = {ρi : i ∈ N} ⊂ P(Θ) : Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

41. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}: Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝ D = {ρi : i ∈ N} ⊂ P(Θ) : Կատոնիի գնահատականից ունենք որ PS ∀ρ ∈ P(Θ), Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ ≥ 1 − δ : (6) Հետևաբար՝ PS ∀ρ ∈ D, Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

42. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}: Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝ D = {ρi : i ∈ N} ⊂ P(Θ) : Հետևաբար՝ PS ∀ρ ∈ D, Eθ∼ρ[R(θ)] ≤ Eθ∼ρ[r(θ)] + λ 8n + KL(ρ||π) + log 1 δ λ ≥ 1 − δ : (6) Սա նույն է ինչ PS ∀i ∈ N, Eθ∼ρi [R(θ)] ≤ Eθ∼ρi [r(θ)] + λ 8n + KL(ρi||π) + log 1 δ λ ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

43. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Եկեք ρi-ով նշանակենք այն բաշխումը, որի համար ρi(θj) = 1{i=j}: Նշանակենք այսպիսի բաշխումների բազմությունը D-ով՝ D = {ρi : i ∈ N} ⊂ P(Θ) : Սա նույն է ինչ PS ∀i ∈ N, Eθ∼ρi [R(θ)] ≤ Eθ∼ρi [r(θ)] + λ 8n + KL(ρi||π) + log 1 δ λ ≥ 1 − δ : (6) Ըստ ρi-ի սահմանման կստանանք որ PS ∀i ∈ N, R(θi) ≤ r(θi) + λ 8n + KL(ρi||π) + log 1 δ λ ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

44. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Ըստ ρi-ի սահմանման կստանանք որ PS ∀i ∈ N, R(θi) ≤ r(θi) + λ 8n + KL(ρi||π) + log 1 δ λ ≥ 1 − δ : (6) Նկատենք որ KL (ρi∥π) = P j ρi(θj) log ρi(θj) π(θj) = log 1 π(θi) : Հետևաբար՝ PS ∀i ∈ N, R(θi) ≤ r(θi) + λ 8n + log 1 π(θi) + log 1 δ λ ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

45. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Նկատենք որ KL (ρi∥π) = P j ρi(θj) log ρi(θj) π(θj) = log 1 π(θi) : Հետևաբար՝ PS ∀i ∈ N, R(θi) ≤ r(θi) + λ 8n + log 1 π(θi) + log 1 δ λ ≥ 1 − δ : (6) Վերջապես, նկատենք որ 2 q b a ≤ λ a + b λ ։ Հետևաբար՝ λ 8n + log 1 δπ(θi) λ ≥ 2 s log 1 δπ(θi) 8n : Տեղադրելով (6)-ում ստանում ենք՝ PS ∀i ∈ N, R(θi) ≤ r(θi) + s 1 2n log 1 δπ(θi) ! ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

46. Կիրառություն՝ հիպոթեզների հաշվելի անվերջ դաս Վերջապես, նկատենք որ 2 q b a ≤ λ a + b λ ։ Հետևաբար՝ λ 8n + log 1 δπ(θi) λ ≥ 2 s log 1 δπ(θi) 8n : Տեղադրելով (6)-ում ստանում ենք՝ PS ∀i ∈ N, R(θi) ≤ r(θi) + s 1 2n log 1 δπ(θi) ! ≥ 1 − δ : (6) Անցյալ սեմինարին ստացել էինք որ P ∀i, |R(θi) − r(θi)| ≤ s 1 2n log 2 δπ(θi) ! ≥ 1 − δ : (7) Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 11 / 12

47. Շնորհակալություն Արշակ Մինասյան Պակ-Բայեսյան գնահատականներ Նոյեմբերի 24, 2021 12 / 12

PAC-Bayesian-generalization-bounds-seminar-2

Recommended

Recommended

More Related Content

Featured

Featured (20)

PAC-Bayesian-generalization-bounds-seminar-2