Prezentacja przedstawia wprowadzenie do strumieniowych baz danych, wyjaśnia pojęcia związane z tą technologią oraz opisuje jeden z najbardziej popularnych i efektywnych narzędzi strumieniowego przetwarzania danych - SZSBD StreamBase.

1. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Złożone przetwarzanie zdarzeń
w SZSBD StreamBase
Nowe Technologie Baz Danych
Wojciech Podgórski
w.podgorski@student.pwr.wroc.pl
4 maja 2009
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

2. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Agenda
1 Wprowadzenie
Złożone przetwarzanie zdarzeń
Podstawowe pojęcia
Różnice pomiędzy SZBD, a SZSBD
2 StreamSQL/EventFlow
3 Produkty StreamBase
StreamBase Studio
StreamBase Server
StreamBase Adapters
StreamBase Chronicle
4 Studium przypadku
5 Zastosowania
6 Bibliografia
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

3. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Złożone przetwarzanie zdarzeń
Złożone przetwarzanie zdarzeń (ang. Complex Event Processing ) to
koncepcja obsługi przetwarzania wielu zdarzeń w celu identyfikacji
znaczenia w chmurze zdarzeń (ang. event cloud). Przetwarzanie odbywa
się za pomocą zbioru abstrakcyjnych operacji takich jak porównywanie
wzorców, korelowanie zdarzeń, tworzenie hierarchii zdarzeń, analiza relacji
pomiędzy zdarzeniami i innych.
Źrodło: Wikipedia
Złożone przetwarzanie zdarzeń
Złożone przetwarzanie zdarzeń (ang. Complex Event Processing ) to
technologia filtrowania, korelowania, agregowania oraz przetwarzania
rzeczywistych zdarzeń w krótkim czasie pomiędzy ich wystąpieniem a
wywołaniem określonego skutku.
Źrodło: StreamBase.com
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

4. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Czym jest StreamBase?
jest systemem zarządzania strumieniową bazą danych
(SZSBD), implementującym CEP. Platforma StreamBase
gromadzi w sobie graficzne środowisko wytwarzania aplikacji,
wydajny serwer przetwarzania zdarzeń i interfejsy do danych czasu
rzeczywistego oraz historycznych. Aby lepiej zrozumieć sposób
działania przetwarzania strumieniowego, wprowadza się następujące
pojęcia:
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

5. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Krotka (ang. Tuple)
Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i
wartości określone są w schematach, które specyfikują typ
krotki. Krotki moga być płaskie i składać się z typów
prymitywnych (np. integer, float, string) lub mieć strukturę
hierarchiczną (np. zbiór, krotka, lista).
Zdarzenie (ang. Event)
To interpretacja krotki. Podczas gdy krotka to struktura
danych, zdarzenie odwołuję się do procesu w świecie
rzeczywistym. Przykładem może być zdarzenie “niebieski
samochód został zaobserwowany na pozycji (100,100)“,
wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu:
”samochód“, kolor: ”niebieski”, x: “100”, y: “100“).
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

6. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Krotka (ang. Tuple)
Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i
wartości określone są w schematach, które specyfikują typ
krotki. Krotki moga być płaskie i składać się z typów
prymitywnych (np. integer, float, string) lub mieć strukturę
hierarchiczną (np. zbiór, krotka, lista).
Zdarzenie (ang. Event)
To interpretacja krotki. Podczas gdy krotka to struktura
danych, zdarzenie odwołuję się do procesu w świecie
rzeczywistym. Przykładem może być zdarzenie “niebieski
samochód został zaobserwowany na pozycji (100,100)“,
wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu:
”samochód“, kolor: ”niebieski”, x: “100”, y: “100“).
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

7. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Krotka (ang. Tuple)
Jest to kolekcja par: nazwa-wartość. Dozwolone nazwy i
wartości określone są w schematach, które specyfikują typ
krotki. Krotki moga być płaskie i składać się z typów
prymitywnych (np. integer, float, string) lub mieć strukturę
hierarchiczną (np. zbiór, krotka, lista).
Zdarzenie (ang. Event)
To interpretacja krotki. Podczas gdy krotka to struktura
danych, zdarzenie odwołuję się do procesu w świecie
rzeczywistym. Przykładem może być zdarzenie “niebieski
samochód został zaobserwowany na pozycji (100,100)“,
wtedy krotką reprezentującą zdarzenie będzie (typ-pojazdu:
”samochód“, kolor: ”niebieski”, x: “100”, y: “100“).
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

8. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Zdarzenie złożone (ang. Complex event)
Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń.
Chmura zdarzeń (ang. Event cloud)
Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz
historycznych (zachowanych) będąca zarówno źródłem jak i
wynikiem przetwarzania.
Strumień (ang. Stream)
Definiuje się jako uporządkowaną i potencjalnie nieskończoną
sekwencję krotek.
Okno (ang. Window )
Wycinek strumienia stanowiący zbiór krotek, uzyskany
poprzez przetwarzanie strumienia w określonym przedziale
czasowym lub przetworzenie odpowiedniej ilości krotek.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

9. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Zdarzenie złożone (ang. Complex event)
Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń.
Chmura zdarzeń (ang. Event cloud)
Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz
historycznych (zachowanych) będąca zarówno źródłem jak i
wynikiem przetwarzania.
Strumień (ang. Stream)
Definiuje się jako uporządkowaną i potencjalnie nieskończoną
sekwencję krotek.
Okno (ang. Window )
Wycinek strumienia stanowiący zbiór krotek, uzyskany
poprzez przetwarzanie strumienia w określonym przedziale
czasowym lub przetworzenie odpowiedniej ilości krotek.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

10. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Zdarzenie złożone (ang. Complex event)
Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń.
Chmura zdarzeń (ang. Event cloud)
Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz
historycznych (zachowanych) będąca zarówno źródłem jak i
wynikiem przetwarzania.
Strumień (ang. Stream)
Definiuje się jako uporządkowaną i potencjalnie nieskończoną
sekwencję krotek.
Okno (ang. Window )
Wycinek strumienia stanowiący zbiór krotek, uzyskany
poprzez przetwarzanie strumienia w określonym przedziale
czasowym lub przetworzenie odpowiedniej ilości krotek.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

11. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Zdarzenie złożone (ang. Complex event)
Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń.
Chmura zdarzeń (ang. Event cloud)
Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz
historycznych (zachowanych) będąca zarówno źródłem jak i
wynikiem przetwarzania.
Strumień (ang. Stream)
Definiuje się jako uporządkowaną i potencjalnie nieskończoną
sekwencję krotek.
Okno (ang. Window )
Wycinek strumienia stanowiący zbiór krotek, uzyskany
poprzez przetwarzanie strumienia w określonym przedziale
czasowym lub przetworzenie odpowiedniej ilości krotek.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

12. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Zdarzenie złożone (ang. Complex event)
Jest to zdarzenie złożone lub skorelowane z wielu zdarzeń.
Chmura zdarzeń (ang. Event cloud)
Abstrakcyjna przestrzeń zdarzeń czasu rzeczywistego oraz
historycznych (zachowanych) będąca zarówno źródłem jak i
wynikiem przetwarzania.
Strumień (ang. Stream)
Definiuje się jako uporządkowaną i potencjalnie nieskończoną
sekwencję krotek.
Okno (ang. Window )
Wycinek strumienia stanowiący zbiór krotek, uzyskany
poprzez przetwarzanie strumienia w określonym przedziale
czasowym lub przetworzenie odpowiedniej ilości krotek.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

13. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Strumień danych vs. Baza danych
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

14. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Baza Danych
Rysunek: Architektura przepływu danych w SZBD. Źródło:
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

15. Wprowadzenie
StreamSQL/EventFlow
Złożone przetwarzanie zdarzeń
Produkty StreamBase
Podstawowe pojęcia
Studium przypadku
Różnice pomiędzy SZBD, a SZSBD
Zastosowania
Bibliografia
Strumień Danych
Rysunek: Architektura przepływu danych w SZSBD. Źródło:
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

16. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Platforma StreamBase wykorzstuje dwa strumieniowe języki
zapytań, które są sobie całkowicie równoważne. StreamSQL jest
deklaratywnym rozszerzeniem języka SQL z możliwością
definiowania okien, uzyskiwania realcji z strumieni i podziału
strumienia na grupy. StreamSQL EventFlow jest graficznym
proceduralnym językiem zapytań wykorzystującym zbiór
operatorów strumieniowych takich jak Filter, BSort, Map,
Aggregate, Union, Join itd. StreamSQL jest językiem
rozszerzalnym z możliwością definiowania nowych funkcji i
operatorów w językach Java, C++ itp.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

17. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
StreamSQL EventFlow
Rysunek: Zapytanie w języku StreamSQL EventFlow
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

18. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
StreamSQL
1 CREATE INPUT STREAM T i c k s I n (
2 Symbol s t r i n g ,
3 S o u rc eTimestamp timestamp ,
4 BidPrice string ,
5 AskPrice string ,
6 FeedName s t r i n g ) ;
7 CREATE STREAM T i c k s W i t h T i m e AS
8 SELECT ∗ , now ( ) AS L o c a l T i m e FROM T i c k s I n ;
9 CREATE STREAM T i c k s P e r S e c o n d AS
10 SELECT o p e n v a l ( ) AS S t a r t O f T i m e S l i c e , c o u n t ( ) AS NumberTicks , FeedName
11 FROM T i c k s W i t h T i m e [ SIZE 1 ON L o c a l T i m e PARTITION BY FeedName ]
12 GROUP BY FeedName ;
13 CREATE OUTPUT STREAM T i c k S t a t s AS
14 SELECT o p e n v a l ( ) AS S t a r t O f T i m e S l i c e ,
15 avg ( NumberTicks ) AS A v g T i c k s P e r S e c o n d ,
16 s t d e v ( NumberTicks ) AS S t d e v T i c k s P e r S e c o n d ,
17 l a s t v a l ( NumberTicks ) AS L a s t T i c k s P e r S e c o n d , FeedName
18 FROM T i c k s P e r S e c o n d [ SIZE 20 ADVANCE 1 ON S t a r t O f T i m e S l i c e
19 PARTITION BY FeedName ]
20 GROUP BY FeedName ;
21 CREATE STREAM S e t T h r e s h o l d AS
22 SELECT ∗ , . 7 5 AS A l e r t T h r e s h o l d FROM T i c k S t a t s ;
23 CREATE OUTPUT STREAM T i c k F a l l O f f A l e r t AS
24 SELECT ∗ FROM S e t T h r e s h o l d
25 WHERE L a s t T i c k s P e r S e c o n d < A v g T i c k s P e r S e c o n d ∗ A l e r t T h r e s h o l d ;
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

19. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Studio
StreamBase Studio to zintegrowane środowisko programistyczne oparte
na Eclipse IDE służące do modelowania, wytwarzania, testowania i
debugowania aplikacji CEP. StreamBase Studio pozwala zarówno na
graficzne budowanie logiki biznesowej za pomocą języka StreamSQL
EventFlow, jak i tekstowe w języku StreamSQL. Integracja z Eclipse
IDE pozwala na korzystanie z wszystkich możliwości tego środowiska
włączając w to system kontroli wersji, zarządzanie zadaniami, a także
implementację aplikacji w języku Java czy C++ wykorzystujących
StreamBase API.
Rysunek: StreamBase Studio, perspektywa SB Authoring. Źródło: StreamBase.com
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

20. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu
jej życia udostępniając poniższe narzędzia:
StreamBase Feed Simulator pozwala na wprowadzanie
symulowanych danych do aplikacji StreamBase w trakcie jej
działania. Służy do testowania poprawności działania i
wydajności.
StreamBase Debugger służy do pauzowania działającej
aplikacji i wykonywania jej krok po kroku w celu prześledzenia
działania indywidualnych operatorów, kolejek itp na danych
wejściowych.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

21. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu
jej życia udostępniając poniższe narzędzia:
StreamBase Feed Simulator pozwala na wprowadzanie
symulowanych danych do aplikacji StreamBase w trakcie jej
działania. Służy do testowania poprawności działania i
wydajności.
StreamBase Debugger służy do pauzowania działającej
aplikacji i wykonywania jej krok po kroku w celu prześledzenia
działania indywidualnych operatorów, kolejek itp na danych
wejściowych.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

22. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Studio wspomaga rozwój aplikacji CEP w całym cyklu
jej życia udostępniając poniższe narzędzia:
StreamBase Feed Simulator pozwala na wprowadzanie
symulowanych danych do aplikacji StreamBase w trakcie jej
działania. Służy do testowania poprawności działania i
wydajności.
StreamBase Debugger służy do pauzowania działającej
aplikacji i wykonywania jej krok po kroku w celu prześledzenia
działania indywidualnych operatorów, kolejek itp na danych
wejściowych.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

23. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Monitor pozwala na analizę danych
wejściowych, które pojawiły się na danym operatorze lub w
strumieniu wejściowym, a także przekazywanie ich dalej.
StreamBase Record and Playback jest mechanizmem
rejestrującym dane wejściowe w czasie rzeczywistym oraz
odtwarzającym dane historyczne w celu wyznaczenia nowych
strategii przetwarzania.
StreamBase API to zbiór interfejsów programowania
aplikacji dla języków i platform Java, C++, .NET, służący do
wytwarzania aplikacji klienckich, operatorów, adapterów i
funkcji StreamBase.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

24. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Monitor pozwala na analizę danych
wejściowych, które pojawiły się na danym operatorze lub w
strumieniu wejściowym, a także przekazywanie ich dalej.
StreamBase Record and Playback jest mechanizmem
rejestrującym dane wejściowe w czasie rzeczywistym oraz
odtwarzającym dane historyczne w celu wyznaczenia nowych
strategii przetwarzania.
StreamBase API to zbiór interfejsów programowania
aplikacji dla języków i platform Java, C++, .NET, służący do
wytwarzania aplikacji klienckich, operatorów, adapterów i
funkcji StreamBase.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

25. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Monitor pozwala na analizę danych
wejściowych, które pojawiły się na danym operatorze lub w
strumieniu wejściowym, a także przekazywanie ich dalej.
StreamBase Record and Playback jest mechanizmem
rejestrującym dane wejściowe w czasie rzeczywistym oraz
odtwarzającym dane historyczne w celu wyznaczenia nowych
strategii przetwarzania.
StreamBase API to zbiór interfejsów programowania
aplikacji dla języków i platform Java, C++, .NET, służący do
wytwarzania aplikacji klienckich, operatorów, adapterów i
funkcji StreamBase.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

26. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Monitor pozwala na analizę danych
wejściowych, które pojawiły się na danym operatorze lub w
strumieniu wejściowym, a także przekazywanie ich dalej.
StreamBase Record and Playback jest mechanizmem
rejestrującym dane wejściowe w czasie rzeczywistym oraz
odtwarzającym dane historyczne w celu wyznaczenia nowych
strategii przetwarzania.
StreamBase API to zbiór interfejsów programowania
aplikacji dla języków i platform Java, C++, .NET, służący do
wytwarzania aplikacji klienckich, operatorów, adapterów i
funkcji StreamBase.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

27. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Server
StreamBase Server jest zarówno środowiskiem
uruchomieniowym całej platformy StreamBase jak i serwerem
aplikacji służącym do żłożonego przetwarzania zdarzeń. Bardzo
duży nacisk położony został na współbieżne wykonywanie operacji,
serwer został zaprojektowany tak aby w maksymalnym stopniu
wykorzystywać wieloprocesorowość (64-bitowe systemy
operacyjne). StreamBase Server można używać na klastrach, a
także łączyć instancje serwerów w celu zmniejszenia awaryjności.
Jedną z najważniejszych cech serwera są interfejsy składowania
danych w postaci zarówno tabel w pamięci jak i na dysku, a
także w zewnętrznych bazach i hurtowaniach danych.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

28. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Server cd.
Dane deklarowane przez producenta, źródło: StreamBase.com
Przepustowość: 500,000+ komunikatów/sekundę lub
więcej na procesorach wielordzeniowych
Wydajność: 5-10x szybciej w stosunku do konkurencji dzięki
Dynamic Stream CompilerTM
Skalowalność: największa - 64-bitowe wielordzeniowe
procesory dla przetwarzania i tabel w pamięci, klastry
Przenośność: systemy operacyjne Windows, Linux i Solaris
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

29. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Adapters
StreamBase Adapters to jeden z najważniejszych komponentów
platformy StreamBase służący do integrowania aplikacji StreamBase z
źródłami danych w czasie rzeczywistym. Adaptery to aplikacje które
wczytują strumień wejściowy z źródła, konwertują dane do formatu
StreamBase i zapisują rezultaty do strumienia wyjściowego. StreamBase
oferuje zbiór gotowych adapterów, a także API do tworzenia własnych.
Rysunek: Adaptery zczytujące wartości akcji giełdowych (StreamSQL EventFlow). Źródło: StreamBase.com
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

30. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Adapters cd.
Adaptery systemów komunikacyjnych i sieci
IBM MQ
JMS: integruje StreamBase z magistralą zgodną z JMS.
RTT
SMTP: analiza napływających wiadomości
TIBCO EMS
Tibco Rendezvous 7.2
Adaptery wizualizacji, zestawień i interakcji
Adobe Flex
CSV: zapisywanie i odczytywanie danych odzielonych przecinkami z plików CSV (comma-separated value).
Data
JDBC: połączenie z zewnętrznymi bazami danych oraz wykonywanie kodu SQL, np. Oracle, SQL Server,
IBM R DB2.
Microsoft Excel: zapisywanie i odczytywanie danych z plików Excel.
SL RT View
XML: konsumowanie i produkowanie rekordów XML
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

31. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Adapters cd.
Adaptery danych finansowych
Alpha Trading System
Bloomberg BBCOM, Server, BPIPE, BPOD
DirectPlus (wcześnie znane jako COMSTOCK)
Inforeach
Lime Trading System
Reuters RMDS RFA5 Adapter subskrypcji
Reuters RMDS RFA5 Adapter publikacji
Reuters RMDS RFA6/OMM (Open Message Model)
Toronto Stock Exchange (TSX)
Wombat (MAMA)
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

32. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Chronicle
Jednym z największych wyzwań w przetwarzaniu danych czasu
rzeczywistego jest ich korelacja z danymi historycznymi. Jako,
że archiwizowanie danych ciągle napływających jest technicznie
trudne do zrealizowania (zbiory rzędu dziesiątek lub setek
terabajtów), platforma StreamBase gromadzi dane w mediach
zewnętrznych. Mechanizm StreamBase ChronicleTM jest
framework’iem do optymalnego łączenia StreamBase Server z
bazami i hurtowniami danych takimi jak Vhauy Velocity,
Sybase RAP, IBM DB2 itd.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

33. Wprowadzenie
StreamSQL/EventFlow StreamBase Studio
Produkty StreamBase StreamBase Server
Studium przypadku StreamBase Adapters
Zastosowania StreamBase Chronicle
Bibliografia
StreamBase Chronicle cd.
Framework StreamBase ChronicleTM składa się z dwóch części:
Real-time loader służący do ładowania danych z StreamBase
Server do hurtowni/baz danych.
High-performance adapter służący do ładowania danych z
hurtowni/bazy danych wprost do strumienia wejściowego, lub
operatora.
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

34. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Studium przypadku
Tworzenie projektu w StreamBase Studio 6.3
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

35. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Rynki finansowe
Obrót akcjami, obliczanie strat i zysków w czasie rzeczywistym,
automatyczna sprzedaż/zakup, analizy finansowe, transakcje
bankomatowe, zarządzanie ryzykiem itp.
Telekomunikacja
Monitorowanie sieci, analiza przepustowości i zapewnianie QoS,
wykrywanie oszustw, lokalizowanie odbiorców itp.
Wojsko
Wywiad i obserwacja, wykrywanie intruzów, sterowanie i analiza
pola walki
Handel elektroniczny
Monitorowanie zmian w magazynach, wykrywanie oszustw,
administrowanie sklepami internetowymi
Gry typu multiplayer
Obsługa zdarzeń i statystyki
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

36. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Sieci sensoryczne
Monitorowanie pogody, zwierząt, więźniów, RFID...
Logistyka i transport
Monitorowanie ruchu towarów
Przemysł
Nadzorowanie linii produkcyjnych
Integracja z systemami czasu rzeczywistego
WIELE INNYCH...
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

37. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Podsumowanie
Platforma StreamBase jest jednym z najpopularniejszych systemów
zarządzania strumieniową bazą danych, implementującym
Complex Event Processing. Składa się z czterech komponentów
- StreamBase Studio (tworzenie aplikacji), Server (serwer
aplikacji), Adapters (komunikacja) oraz Chronicle (persystancja).
Udostępnia dwa języki zapytań zorientowane na przetwarzanie
strumieniowe - StreamSQL (tekstowy) oraz StreamSQL
EventFlow (graficzny). Platformę można ściagnąć w wersji trail
oraz zakupić na stronie:
http://www.streambase.com
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

38. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
StreamBase Knowledge Center
http://www.streambase.com/knowledgecenter.htm
Kot W.
Krótko o Complex Event Processing (I co może z tego mieć
developer Java)
Java Developers Network - http://www.jdn.pl/node/1583
Wilczek A.
Wykłady z przedmiotu Nowe Technologie Baz Danych
Politechnika Wrocławska, Instytut Informatyki, Wrocław 2009 -
http://www.ii.pwr.wroc.pl/ wilczek
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

39. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Jain N., Mishra S., Srinivasan A., Gehrke J. Widom J., Balakrishnan
H., Cetintemel U., Cherniack M., Tibbetts R., Zdonik S.
Towards a Streaming SQL Standard
Proceedings of the VLDB Endowment, Volume 1, Issue 2 (August 2008),
Session: Industrial, application, and experience sessions: query processing,
pp. 1379-1390
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

40. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Dlaczego?...
Pytania ?
Jak?...
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase

41. Wprowadzenie
StreamSQL/EventFlow
Produkty StreamBase
Studium przypadku
Zastosowania
Bibliografia
Dziękuje bardzo...
Wojciech Podgórski w.podgorski@student.pwr.wroc.pl Złożone przetwarzanie zdarzeńw SZSBD StreamBase