Nasze wieloTORowe doświadczenia w technologicznym safari: Python, Anaconda, RabbitMQ i pożerające wszystko Celery… Czyli Big Data i social commerce na przykładzie aplikacji MioSpot.

1. Big Data na zakupachArtur Senk, OKE Poland
Tech.3camp.pl01.10.2014

2. Rok założenia: 1996 r. Zatrudnienie: 50 osóbSiedziba: Gdańsk

3. Technologie telewizyjne (.NET)
oraz…

4. -start: kwiecień 2013
Net -Trends
Przewidywanie trendówna podstawie danych zebranychz Internetu i danych statystycznych

5. NET-TRENDS: CIAŁO
Big Data
Data Mining
Trendy
Crawlery
Scrapery
Net-Trends

6. MIOSPOT: GŁOWA
Zakupy
Alerty
Aplikacje mobilne
Celebryci
SocialNetwork

7. Big Data Shopping
Czy robienie zakupów może być jeszcze
bardziej, bardziej, wiele bardziej
przyjemne?

8. TARGET USERS
CZEGO PRAGNĄ…?
… NAPRAWDĘ CHCECIE WIEDZIEĆ?

9. MioSpot
Bridges the gap between Retailers and People.Activesystem thatbrings buyers and sellers together.
© istockphoto.com

10. MioSpotSocialCommerce
BringingCelebs,
Friendsand Fanstogether.
miospot.com

11. PRODUKTY, CELEBRYCI I ZNAJOMI

12. ODKRYWAJ PRODUKTY

13. OBSERWUJ INNYCH

14. -wiele bibliotek do przetwarzania danych-czytelność kodu (readability) -szybkość tworzenia nowych funkcjonalności
Środowisko: Python(3.3)

15. -Django–frameworkPythona-Gunicorn–PythonWSGI HTTP Server-nginx–HTTP (static) oraz (genialne!) proxy-PostgreSQL (9.3) –znana i dopracowana baza-Solr–full-textsearchservernapisany w Javie
Środowisko: główne elementy

16. -Git (własny serwer z GitLab), git-flow, tagi-Jenkins + Selenium–CI, after-commitjobs-Fabric–szybki deploy-Anaconda–kompletna dystrybucja Pythona
Środowisko: dodatki

17. RSS Feeds
artykuły
zdjęcia
ŹRÓDŁA DANYCH
Net-Trends

18. -TOR –wirtualny routing na poziomie TCP, ukrywanie IP serwerów pobierających-Celery–kolejki zadań –rozproszone i skalowalne
Pobieranie danych #1

19. -ElasticSearch-searchengine, ELK stack: ElasticSearch+ Logstash+ Kibana-Redis–zaawansowany key-valuecache/store, wyniki tasków
Pobieranie danych #2

26. -prawie 10TB danych (spakowanych!) -bazy danych po kilkaset GB-1 000 000 000 rekordów w tabeli
Trochę statystyk

27. TAR + XZ -> 40-krotna kompresja
Big Data + Big Dev= Data

29. Dziękuję za uwagę.
Dzięki!