22. Ajanda
• LCW DataWarehouse
• Entegrasyon Yöntemleri ve Araçları
• Analitik Veri Topolojimiz
• OLAP Nedir?
• OLAP Scale-Out
• Teknik Altyapı/Otomasyon
• Kazanımlarımız
23. LCW Data Warehouse
- Microsoft SQL Server 2017
- AlwaysOn(2 Node)
- 13TB sıkıştırılmış veri büyüklüğü
- 400+ tablo
- 400K+ atomic transaction, peak time
- 1K+ unique user
- 7/24 veri işleme
- her gün 2 milyar satırdan fazla veri manipülasyonu
- Table Partitioning
- Partition Switching
- Cloumnstore Index
- Kimball Model
- Custom ETL Framework for ETL automation
24. Entegrasyon Yöntemleri ve Araçları
Entegrasyon Yöntemleri
- DB to DB
- File(csv, txt) to DB
- API to DB
Kullandığımız ETL/ELT Araçları
- SSIS – SQL Server Integration Services
- ADF – Azure Data Factory
- Custon Python Codes
25.
26. LCW OLAP
Multidimensional OLAP Cube
- SQL Server 2012
- Custom solution for High Availability & Scalability: OLAP ScaleOut(2 node) with physical load balancer
- 10+TB data size
- 1400+ unique user
- 1,5 sec. average response time
Tabular OLAP Cube
- SQL Server 2016
- 80+ projects
- seperate servers for process and presentation
- Custom SSAS Framework for Schedule, Process and Sync automation
27. OLAP Scale-Out Kazanımlar ve İstatistikler
Tekil Kullanıcı
Toplam
Erişim
Ortalama Çalışma
Süresi(sn)
Veri Boyutu
TB
2015 582 678,100 4.14 6
2016 586 688,059 2.29 8
2017 758 1,573,192 0.80 11
2018 899 1,679,864 0.89 13
2019 1192 1,886,153 1.71 15
2020 1417 2,447,880 1.53 11
28. 400 TB Analitik Veri
1200 Tablo
Günlük 30
TB Veri
İşleme
Kapasitesi
En Büyük
Tabloda
120 Milyar
Satır
30. Ajanda
• Ben Kimim?
• Organizasyonel Yapı
• LCW & Veri Bilimi Ekosistemi
• Tech Stack
• Neler Yaptık/Yapıyoruz?
• Tavsiye / Öneri
31. Ben Kimim ?
Tecrübe
Veri Bilimci @ LC Waikiki
Büyük Veri Analisti | Bilgi Teknolojileri ve İletişim Kurumu (BTK)
MIS Uzman Yrd. | Kuveyt Türk Katılım Bankası
Programcı | Mentis
Eğitim
İstanbul Üniversitesi | Bilgisayar Programlama
Hacettepe Üniversitesi | İstatistik
Konya NEU | Bilgisayar Mühendisliği (Öğrenci)
İletişim
metin.uslu@lcwaikiki.com
33. Veri Bilimi Ekosistemi
Bir Datathon’un Anatomisi: LC Waikiki Datathon 2019
https://medium.com/lcw-analytics/bir-datathonun-anatomisi-lc-waikiki-datathon-2019-a55606117bcb
34. Tech Stack
LCWIADEV-1 (Dev. Machine)
OS: Ubuntu 18.04 Desktop
CPU: i9 İşlemci 8.Nesil
Disk: SSD Disk & Sata Disk
Ram: 64 GB Ram
GPU: Nvidia Geforce RTX 2080TI 11GB
CUDA & CuDNN
Yazılım Bileşenleri
Python
R
PySpark
Shell Script
Airflow
Crontab, Automic UC4
VCS: Git & TFS
OS: Ubuntu & Centos GNU/Linux
LCWIADEV-2 (Dev. Machine)
OS: Win 10 OS
CPU: i7 5. Nesil
Disk: SSD Disk & Sata Disk
Ram: 64 GB Ram
GPU: Nvidia Geforce RTX 2080TI 11GB
CUDA & CuDNN
Donanım Bileşenleri
MS Azure VM
Google Cloud Big Query + Storage
MS Azure Cognitive Services
Cloud
35. Neler Yaptık / Yapıyoruz?
Mağaza İçi Analitik (In Store Analytics)
Eticaret Müşteri Analtiği (Online Customer Analytics)
Crawling
Görseller üzerinden TrendAnalizi yapıyoruz.
İş Birimlerine Karar Destek Sistemi için veri sağlıyoruz
Adhoc analizlerin yapılması
İstatistiksel Analizlerin Yapılması
Mağazaların için belli metriklere cluster edilmesi
Api kullanılarak third party servislerin kullanılması
Canlıda olan projelerin Monitor, Maintenance ve Development yapılması
MLOps = ML + DevOps
Daha önce geliştirilmiş modellerin yeniden eğitilmesi, performansların gözlemlenmesi ve artırılması.
Birçok kaynak üzerinden gelen text dataları üzerinde Descriptive ve Predictive Modeller insight elde
etmeye/anlamlandırmaya çalışıyoruz.
36. Tavsiye / Öneri
Computer Science Yetkinlikleri
Feature Selection/Extraction/Engineering
İçselleştirme
Model performans metriği/skoru kadar uygulanabilirliği
Explainable AI
H2O framework içerisinde Lime & Shap