K1. Duomenų analizė XVIII mokslinė kompiuterininkų konferencija „Kompiuterininkų dienos – 2017“, Kaune, VU KnF 2017-09-21

1. Didžiųjų duomenų tyryba
naudojant išskirstytus
skaičiavimus
ALBERTAS JURGELEVIČIUS, PROF. HABIL. DR. LEONIDAS SAKALAUSKAS
ALBERTAS.JURGELEVICIUS@MII.VU.LT
VILNIAUS UNIVERSITETO MATEMATIKOS IR INFORMATIKOS INSTITUTAS
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 1

2. Turinys
◦ Tyrimų tikslas
◦ Viešieji paskirstyti skaičiavimai
◦ Didžiųjų duomenų gavyba naudojant BOINC
◦ Privalumai bei trūkumai
◦ Išvados
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 2

3. Tyrimų tikslas
Apžvelgti viešųjų išskirstytų skaičiavimų galimybes didžiųjų duomenų
tyrybos uždaviniams spręsti.
◦ Nustatyti tokio uždavinių sprendimo būdo privalumus bei trūkumus;
◦ Nustatyti mokslines problemas.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 3

4. Viešieji išskirstyti skaičiavimai
Kompiuterinių išteklių donorystė yra vienas iš būdų prisidėti prie
išskirstų skaičiavimų. Tokiu būdu projekte dalyvaujantys savanoriai gali
siūlyti savo kompiuterinius išteklius skaičiavimams atlikti.
Pagrindinis tokio išskirstytų skaičiavimų modelio tikslas yra apjungti
kompiuterinius išteklius į atvirą dinaminį tinklą.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 4

5. BOINC
Berkeley Open Infrastructure for Network Computing (BOINC) – atviro
kodo programinė įranga, apjungianti tinkle esančius kompiuterių
išteklius skaičiavimams atlikti.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 5

6. Problema
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 6
Viešieji išskirstyti skaičiavimai yra gerai žinomas modelis, suteikiantis
organizacijoms prieigą prie kompiuterinių išteklių už mažą kainą. Tačiau,
šis modelis turi trūkumų, dėl kurių verslas šio modelio netaiko.

7. Tyrimai
◦ Atlikta literatūros apžvalga;
◦ Atliktas 28 dienas trukęs tyrimas naudojant du atsitiktinai parinktus
kompiuterius dviejose įstaigose (A ir B). Kompiuteriuose buvo įdiegta BOINC
programa, dvi savaites vykdanti SETI@home projekto užduotis. Skaičiavimų
metu buvo matuojami elektros energijos vartojimas, bei procesoriaus
užimtumo laikas naudojant “Performance monitor” (programa prieinama
Microsoft Windows sistemoje) bei elektroninį elektros energijos vartojimo
matuoklį. Po to procesas buvo pakartotas nevykdant BOINC projektų. Tyrimo
metu abu kompiuteriai buvo naudojami įstaigų darbuotojų darbo reikmėms.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 7

8. Tyrimo rezultatai
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 8
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
SETI@home Idle

9. Tyrimo rezultatai
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 9
Organizacija BOINC projektas Procesoriaus laikas nevykdant skaičiavimų Elektros energijos suvartojimas
A - 98,77% 16,61 kWh
A SETI@home 65,23% 22,03 kWh
B - 83,49% 1 kWh
B SETI@home 26,86% 2,09 kWh

10. Privalumai
◦ Nemokami kompiuteriniai ištekliai;
◦ Dalinai sprendžia konfidencialių duomenų apsaugos problemą.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 10
Tyrimai rodo, jog BOINC kompiuterinių išteklių pajėgumas bei patikimumas
prilygsta Amazon EC2.
[McGilvary, G., Barker, A., Atkinson, M.: Ad hoc Cloud Computing: From Concept to Realization. IEEE 8th International
Conference, CLOUD. (2015)]

11. Trūkumai
◦ Konfidencialių duomenų apsaugos trūkumas
◦ Paslaugos kokybės neužtikrintumas
◦ Sistemų saugumas
◦ Skaičiavimų kainos vertinimo neapibrėžtumas
◦ Skaičiavimų pajėgumo neapibrėžtumas
◦ Vykdomųjų programų pritaikymas skirtingoms platformoms
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 11

12. Didžiųjų duomenų tyryba
naudojant BOINC
◦ BOINC-MR
◦ distributedDataMining.org
◦ V-BOINC
◦ SCADAMAR
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 12

13. Išvados
Nustatytos mokslinės problemos:
◦ viešųjų paskirstytų skaičiavimų platformos kaštų bei efektyvumo vertinimas
didelių duomenų tyryboje;
◦ duomenų saugumo bei konfidencialumo užtikrinimo metodai viešųjų
paskirstytš skaičiavimų platformoje.
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 13

14. Tolimesni darbai
Stochastinio modelio kūrimas skaičiavimams reikiamų viešųjų
paskirstytų skaičiavimų platformoje kaštų vertinimui:
XVIII MOKSLINĖ KOMPIUTERININKŲ KONFERENCIJA 14
Duomenų saugumo bei konfidencialumo užtikrinimo metodų viešųjų
paskirstytų skaičiavimų platformoje pritaikymas.