SlideShare uma empresa Scribd logo
1 de 16
Baixar para ler offline
Valós idejű megoldások:
Realtime ods és Database In-
Memory tapasztalatok
PusztaiPéter
IT fejlesztési senior menedzser – Magyar Telekom
Sef Dániel
Szenior IT tanácsadó– T-Systems Magyarország
2016.április6.
amiről szó lesz…
 Siebel Replica – ODS rendszer születésének körülményei a Magyar
Telekomban
 A rendszer felhasználási céljai, lehetőségei
 Oracle Database In-Memory esettanulmány
 Tapasztalatok, összegzés
 Több forrásból származó, integrált adatokra épített adatszolgáltatások
 Onlinelekérdezések(extrém gyors válaszidővel történő kiszolgálás)
 Ad-hocriporting
 Nagy számításigényű feladatok elvégzése
 Nagy adattömegű, batch adatszolgáltatások
 Siebel audit logok biztonságos és elkülönített gyűjtése
 Meghatározott tulajdonságok alapján történő adatirányítás
 Érzékeny adatokhoz történő hozzáférés korlátozása
 Valós időben épülő adattörténet
a születés körülményei
milyen igények híVták életre a siebel replica-t
Éles Siebel
tehermentesítése
3
Érzékeny adatok
és Siebel audit
logok kezelése
2
Adattárház
táplálása
1
a születést köVetően újabb igények jelentek meg:
Felhasználási célok, Funkciók
Számos felhasználási lehetőség:
• valósidejűség kihasználása: online adattörténet építés, perces gyakoriságú
batch feldolgozások futtatása
• vissza-irányú interfészek: a forrás rendszer egyben az adatbázis replikában
feldolgozott adatok fogadó rendszere
• teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás,
ahol minden változás átadása szükséges
• front-end-ek felől érkező online lekérdezések kiszolgálása (jobb
válaszidővel, mint amire a forrásrendszer képes)
• operatív (és ad-hoc) riportok: riporting keretrendszer
miért jó ez a magyar telekomnak?
• Valós idejű ODS lehetősége
• Tehermentesíti a produktív rendszereket
• A dobozos CRM rendszer lehetőségeit kiterjeszti
• A replikált adatbázison közvetlenül lehet fejleszteni
• Ütemezett batch feldolgozások
• Webszolgáltatások implementálásának lehetősége
• Ad-hoc riportolás
a Valós idejű inFormáció Vonzereje
esettanulmány - perFormancia jaVítás
siebel replika Felhasználásicélok mentén
• Index karbantartás
• OLTP indexek
• Analitikus indexek
• Batch feldolgozások
• Riporting Rendszer
OLTPés Analitikus
terhelés
• 1000GB Diszk
• 60 GB Memória
• AMD Opteron(tm) Processor 6128
• 8 core CPU
• Siebel Replika fejlesztői
környezetéhez hasonló struktúra
• Generált tesztadatok
T-Systems szerveren – Generált tesztadatok segítségével
tesztkörnyezet
OLTPés Analitikus
terhelés
Valós idejű elemzés Bevezetés az
alkalmazás
változtatása nélkül
100x
Oracle Database In-Memory célok
• Sor és Oszlop alapú
elemzés ugyanarra a táblára
• Konzisztens adattárolás
• Elemzés és Riporting
kiszolgálás Oszlop alapú
tárolással
• OLTP kiszolgálás sor alapú
tárolással
Buffer Cache Column Store
ORDER ORDER
Row
Format
Column
Format
ORDER
adatbázis tárolási módok
1. Memória méret konfigurálása:
 inmemory_size = XX GB
2. Táblák vagy partíciók konfigurálása:
 alter table | partition … inmemory;
3. OLTP gyorsítás: eldobhatóak az analitikus indexek
Oracle Database In-Memory beállítás
OLTP és Analitikus Indexek
• Index nyilvántartás Siebel
Replikában: legtöbb index komplex
OLTP adatbázisok esetén analitikus
lekérdezéseket szolgál ki
• Új sor beszúrása a táblába => 10-20
analitikus indexek frissítése
=>Lassú!
• Ad-hoc analitika támogatása
Tábla
1 – 3
OLTP
Indexek
10 – 20
Analitikus
Indexek
In-Memory Végrehajtási terV
2016.04.06.– Strictly confidential,Confidential,Internal – Author/ Presentationtitle 13
 Analitikus SQL tesztek
Analitikus SQL:
8 millió soroslekérdezés
6 percről 7 másodpercre
Real Time Analitika Bevezetés az
alkalmazás
változtatása nélkül
Ad-Hoc lekérdezések Oracle Database In-
Memory segítségéVel
?
köszönjük
a
figyelmet!

Mais conteúdo relacionado

Destaque

爱是什么(自动播放)
爱是什么(自动播放)爱是什么(自动播放)
爱是什么(自动播放)liuruifeng
 
The unwanted Jesus & Bethany
The unwanted Jesus & BethanyThe unwanted Jesus & Bethany
The unwanted Jesus & BethanyAlvin Reyes
 
Religion in Blue Jeans
Religion in Blue JeansReligion in Blue Jeans
Religion in Blue JeansAlvin Reyes
 
放下
放下放下
放下nonnon
 
Petrine
PetrinePetrine
Petrineeka
 
Ooliinnguaq And Knud Peter
Ooliinnguaq And Knud PeterOoliinnguaq And Knud Peter
Ooliinnguaq And Knud Petereka
 
Larsine
LarsineLarsine
Larsineeka
 
MMB-Heidelberg08
MMB-Heidelberg08MMB-Heidelberg08
MMB-Heidelberg08MsSchool
 
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...Sanjay Ram
 

Destaque (13)

大家行03
大家行03大家行03
大家行03
 
爱是什么(自动播放)
爱是什么(自动播放)爱是什么(自动播放)
爱是什么(自动播放)
 
The unwanted Jesus & Bethany
The unwanted Jesus & BethanyThe unwanted Jesus & Bethany
The unwanted Jesus & Bethany
 
Religion in Blue Jeans
Religion in Blue JeansReligion in Blue Jeans
Religion in Blue Jeans
 
放下
放下放下
放下
 
Petrine
PetrinePetrine
Petrine
 
Ooliinnguaq And Knud Peter
Ooliinnguaq And Knud PeterOoliinnguaq And Knud Peter
Ooliinnguaq And Knud Peter
 
Larsine
LarsineLarsine
Larsine
 
MMB-Heidelberg08
MMB-Heidelberg08MMB-Heidelberg08
MMB-Heidelberg08
 
Boyarsky
BoyarskyBoyarsky
Boyarsky
 
retrospectiva 2007
retrospectiva 2007retrospectiva 2007
retrospectiva 2007
 
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...
Anomalous Behavior Of SSPC In Highly Crystallized Undoped Microcrystalline Si...
 
Vloopup
VloopupVloopup
Vloopup
 

Semelhante a Valos ideju megoldasok realtime ods és database in memory tapasztalatok

Szerver oldali fejlesztés korszerű módszerekkel C# nyelven
Szerver oldali fejlesztés korszerű módszerekkel C# nyelvenSzerver oldali fejlesztés korszerű módszerekkel C# nyelven
Szerver oldali fejlesztés korszerű módszerekkel C# nyelvenKrisztián Gyula Tóth
 
Forráskódtárak gráfalapú statikus analízise
Forráskódtárak gráfalapú statikus analíziseForráskódtárak gráfalapú statikus analízise
Forráskódtárak gráfalapú statikus analíziseDániel Stein
 
Univerzalis Entitas Kezeles - Laravel
Univerzalis Entitas Kezeles - LaravelUniverzalis Entitas Kezeles - Laravel
Univerzalis Entitas Kezeles - LaravelPeter Perger
 
Microsoft Windows Azure Platform
Microsoft Windows Azure PlatformMicrosoft Windows Azure Platform
Microsoft Windows Azure PlatformPéter Lakos
 
Adatbanyaszati technologiak
Adatbanyaszati technologiakAdatbanyaszati technologiak
Adatbanyaszati technologiakitp
 
Nagyméretű forráskódtárak inkrementális statikus analízise
Nagyméretű forráskódtárak inkrementális statikus analíziseNagyméretű forráskódtárak inkrementális statikus analízise
Nagyméretű forráskódtárak inkrementális statikus analíziseDániel Stein
 
Az online hirdetéskiszolgálás technológiai kihívásai
Az online hirdetéskiszolgálás technológiai kihívásaiAz online hirdetéskiszolgálás technológiai kihívásai
Az online hirdetéskiszolgálás technológiai kihívásaiAdverticum
 
Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Attila Balogh-Biró
 
Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Attila Balogh-Biró
 
Fejlesztési kihívások a pénzügyi szektorban
Fejlesztési kihívások a pénzügyi szektorbanFejlesztési kihívások a pénzügyi szektorban
Fejlesztési kihívások a pénzügyi szektorbanPal Vojacsek
 
Funkcionális tesztelés támogatása UFT tesztautomatizálással
Funkcionális tesztelés támogatása UFT tesztautomatizálássalFunkcionális tesztelés támogatása UFT tesztautomatizálással
Funkcionális tesztelés támogatása UFT tesztautomatizálássalGergő Hencz
 
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014LogDrill
 
Klaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaKlaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaFerenc Szalai
 
Webalkalmazások teljesítményoptimalizálása
Webalkalmazások teljesítményoptimalizálásaWebalkalmazások teljesítményoptimalizálása
Webalkalmazások teljesítményoptimalizálásaFerenc Kovács
 
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólÚj vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólGloster telekom Kft.
 

Semelhante a Valos ideju megoldasok realtime ods és database in memory tapasztalatok (20)

Szerver oldali fejlesztés korszerű módszerekkel C# nyelven
Szerver oldali fejlesztés korszerű módszerekkel C# nyelvenSzerver oldali fejlesztés korszerű módszerekkel C# nyelven
Szerver oldali fejlesztés korszerű módszerekkel C# nyelven
 
ZCM 10 bemutatás
ZCM 10 bemutatásZCM 10 bemutatás
ZCM 10 bemutatás
 
Forráskódtárak gráfalapú statikus analízise
Forráskódtárak gráfalapú statikus analíziseForráskódtárak gráfalapú statikus analízise
Forráskódtárak gráfalapú statikus analízise
 
Univerzalis Entitas Kezeles - Laravel
Univerzalis Entitas Kezeles - LaravelUniverzalis Entitas Kezeles - Laravel
Univerzalis Entitas Kezeles - Laravel
 
Microsoft Windows Azure Platform
Microsoft Windows Azure PlatformMicrosoft Windows Azure Platform
Microsoft Windows Azure Platform
 
Adatbányászat
AdatbányászatAdatbányászat
Adatbányászat
 
Adatbanyaszati technologiak
Adatbanyaszati technologiakAdatbanyaszati technologiak
Adatbanyaszati technologiak
 
Nagyméretű forráskódtárak inkrementális statikus analízise
Nagyméretű forráskódtárak inkrementális statikus analíziseNagyméretű forráskódtárak inkrementális statikus analízise
Nagyméretű forráskódtárak inkrementális statikus analízise
 
Az online hirdetéskiszolgálás technológiai kihívásai
Az online hirdetéskiszolgálás technológiai kihívásaiAz online hirdetéskiszolgálás technológiai kihívásai
Az online hirdetéskiszolgálás technológiai kihívásai
 
Magvas gondolatok
Magvas gondolatokMagvas gondolatok
Magvas gondolatok
 
Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (
 
Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (Enterprise java evolució, avagy java ee (
Enterprise java evolució, avagy java ee (
 
Novell Identity Management
Novell Identity ManagementNovell Identity Management
Novell Identity Management
 
Fejlesztési kihívások a pénzügyi szektorban
Fejlesztési kihívások a pénzügyi szektorbanFejlesztési kihívások a pénzügyi szektorban
Fejlesztési kihívások a pénzügyi szektorban
 
Információbiztonság: Napló
Információbiztonság: NaplóInformációbiztonság: Napló
Információbiztonság: Napló
 
Funkcionális tesztelés támogatása UFT tesztautomatizálással
Funkcionális tesztelés támogatása UFT tesztautomatizálássalFunkcionális tesztelés támogatása UFT tesztautomatizálással
Funkcionális tesztelés támogatása UFT tesztautomatizálással
 
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
Balogh gyorgy modern_big_data_megoldasok_sec_world_2014
 
Klaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és visszaKlaszter állományrendszerektől a grid adattárolásig és vissza
Klaszter állományrendszerektől a grid adattárolásig és vissza
 
Webalkalmazások teljesítményoptimalizálása
Webalkalmazások teljesítményoptimalizálásaWebalkalmazások teljesítményoptimalizálása
Webalkalmazások teljesítményoptimalizálása
 
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tólÚj vizeken - Virtualizált szerver megoldások a Cisco-tól
Új vizeken - Virtualizált szerver megoldások a Cisco-tól
 

Valos ideju megoldasok realtime ods és database in memory tapasztalatok

  • 1. Valós idejű megoldások: Realtime ods és Database In- Memory tapasztalatok PusztaiPéter IT fejlesztési senior menedzser – Magyar Telekom Sef Dániel Szenior IT tanácsadó– T-Systems Magyarország 2016.április6.
  • 2. amiről szó lesz…  Siebel Replica – ODS rendszer születésének körülményei a Magyar Telekomban  A rendszer felhasználási céljai, lehetőségei  Oracle Database In-Memory esettanulmány  Tapasztalatok, összegzés
  • 3.  Több forrásból származó, integrált adatokra épített adatszolgáltatások  Onlinelekérdezések(extrém gyors válaszidővel történő kiszolgálás)  Ad-hocriporting  Nagy számításigényű feladatok elvégzése  Nagy adattömegű, batch adatszolgáltatások  Siebel audit logok biztonságos és elkülönített gyűjtése  Meghatározott tulajdonságok alapján történő adatirányítás  Érzékeny adatokhoz történő hozzáférés korlátozása  Valós időben épülő adattörténet a születés körülményei milyen igények híVták életre a siebel replica-t Éles Siebel tehermentesítése 3 Érzékeny adatok és Siebel audit logok kezelése 2 Adattárház táplálása 1 a születést köVetően újabb igények jelentek meg:
  • 4. Felhasználási célok, Funkciók Számos felhasználási lehetőség: • valósidejűség kihasználása: online adattörténet építés, perces gyakoriságú batch feldolgozások futtatása • vissza-irányú interfészek: a forrás rendszer egyben az adatbázis replikában feldolgozott adatok fogadó rendszere • teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás, ahol minden változás átadása szükséges • front-end-ek felől érkező online lekérdezések kiszolgálása (jobb válaszidővel, mint amire a forrásrendszer képes) • operatív (és ad-hoc) riportok: riporting keretrendszer
  • 5. miért jó ez a magyar telekomnak? • Valós idejű ODS lehetősége • Tehermentesíti a produktív rendszereket • A dobozos CRM rendszer lehetőségeit kiterjeszti • A replikált adatbázison közvetlenül lehet fejleszteni • Ütemezett batch feldolgozások • Webszolgáltatások implementálásának lehetősége • Ad-hoc riportolás
  • 6. a Valós idejű inFormáció Vonzereje
  • 7. esettanulmány - perFormancia jaVítás siebel replika Felhasználásicélok mentén • Index karbantartás • OLTP indexek • Analitikus indexek • Batch feldolgozások • Riporting Rendszer OLTPés Analitikus terhelés
  • 8. • 1000GB Diszk • 60 GB Memória • AMD Opteron(tm) Processor 6128 • 8 core CPU • Siebel Replika fejlesztői környezetéhez hasonló struktúra • Generált tesztadatok T-Systems szerveren – Generált tesztadatok segítségével tesztkörnyezet
  • 9. OLTPés Analitikus terhelés Valós idejű elemzés Bevezetés az alkalmazás változtatása nélkül 100x Oracle Database In-Memory célok
  • 10. • Sor és Oszlop alapú elemzés ugyanarra a táblára • Konzisztens adattárolás • Elemzés és Riporting kiszolgálás Oszlop alapú tárolással • OLTP kiszolgálás sor alapú tárolással Buffer Cache Column Store ORDER ORDER Row Format Column Format ORDER adatbázis tárolási módok
  • 11. 1. Memória méret konfigurálása:  inmemory_size = XX GB 2. Táblák vagy partíciók konfigurálása:  alter table | partition … inmemory; 3. OLTP gyorsítás: eldobhatóak az analitikus indexek Oracle Database In-Memory beállítás
  • 12. OLTP és Analitikus Indexek • Index nyilvántartás Siebel Replikában: legtöbb index komplex OLTP adatbázisok esetén analitikus lekérdezéseket szolgál ki • Új sor beszúrása a táblába => 10-20 analitikus indexek frissítése =>Lassú! • Ad-hoc analitika támogatása Tábla 1 – 3 OLTP Indexek 10 – 20 Analitikus Indexek
  • 13. In-Memory Végrehajtási terV 2016.04.06.– Strictly confidential,Confidential,Internal – Author/ Presentationtitle 13
  • 14.  Analitikus SQL tesztek Analitikus SQL: 8 millió soroslekérdezés 6 percről 7 másodpercre Real Time Analitika Bevezetés az alkalmazás változtatása nélkül Ad-Hoc lekérdezések Oracle Database In- Memory segítségéVel
  • 15. ?