Session des Journées SQL Server 2014 - Philippe Geiger & Grégory Boge
----
Dans cette session de découverte de StreamInsight, nous discuterons de ce que sont les événements complexes et comment StreamInsight les traite via quelques exemples simples.
8. #JSS2014
• Microsoft StreamInsight fournit une plate-
forme puissante pour le développement et
le déploiement d'applications de
traitement des événements complexes
(CEP).
Définition
9. #JSS2014
• Performances et débit de données
hautement optimisés
• Environnement de développement .NET
• Fonctionnalité de déploiement flexible
• Simplicité de gestion
Avantages de StreamInsight
10. #JSS2014
• Analyse basée sur les ressources et l'agrégation des données par
ordinateur
• Observation basée sur les capteurs des activités par usine et étage et
sortie
• Observation et réaction via des contrôleurs de périphérique
• Capacité de gérer au maximum 10 000 événements de données par
seconde
• Événement et génération d'alerte en cas de problème
• Maintenance proactive basée sur des conditions sur le matériel clé.
• Analyse à faible latence de données agrégées (fenêtrées et échelles
logarithmiques)
Scénario 1 : Analyse de processus de
fabrication et contrôle
11. #JSS2014
• Capacité de piloter la mise en page, la
navigation et la présentation en fonction de
l'analyse des parcours de visite à latence faible
• Capacité de gérer au maximum
100 000 événements de données par seconde
pendant les heures de pointe du trafic
• Identification de modèles de flux de données de
clic et réponse immédiates avec une campagne
de publicité ciblée
Scénario 2 : Analyse des parcours de visite
12. #JSS2014
• Capacité de gérer au maximum 100 000 événements de
données par seconde
• Traitement des requêtes limité dans le temps
• Analyse et capitalisation dans les conditions de marché
actuelles avec des fenêtres très courtes d'opportunité
• Filtrage intelligent des données d'entrée
• Capacité de définir des modèles sur plusieurs sources de
données et de déclencher automatiquement, dans le
temps, les décisions de vente/achat/attente pour l'actif
d'un portefeuille
Scénario 3 : Échange algorithmique dans un
environnement de services financiers
13. #JSS2014
•Réponse immédiate aux variations de consommation
d'énergie ou d'eau, pour réduire ou éviter les coupures de
courant ou pénuries d'eau ou d'autres interruptions de
service
•Obtention de rendements opérationnels et
environnementaux en adoptant des grilles intelligentes.
•Plusieurs niveaux d'agrégation le long de la grille
•Capacité de gérer un maximum de 100 000 événements
par seconde issus de millions de sources de données
Scénario 4 : Services publics
14. #JSS2014
Données relationnelles versus CEP
Données relationnelles CEP
Principe d’accès aux
données
Les requêtes sont
envoyées à un moteur
de stockage en fonction
des besoins
Les requêtes sont
traitées en continue sur
un flux de données
Latence Seconde, heure, journée Millisecondes voire
moins
Volume de données Des centaines
d’événements par
secondes
Des dizaines de milliers
d’événements par
secondes voire plus
15. #JSS2014
Périmètre de StreamInsight
Relational Database Applications
Financial trading
Applications
Aggregate Data Rate (Events/sec.)
Latency
Manufacturing ApplicationsMonitoring
Target Scenarios
New Data Warehousing
Applications Web Analytics Applications
Operational Analytics :
Logistics, etc.
Months
Days
hours
Minutes
Seconds
100 ms
< 1ms
1 10 100 1000 10000 100000 106+
17. #JSS2014
CEP dans l’architecture BI de Microsoft
Complex Event
Processing
(Flux temps réel)
Traitements
Transactionnels
(OLTP)
Data Quality
Management
Extract
Transform/Load
(ETL)
Analyse
OLAP
Datamining
Master Data
Management
Data Warehouse
Reporting statique
Reporting ad-hoc
Analyse ad-hoc
Exploration
Tableaux de Bords
SQL Server
Analysis Services
SQL Server Reporting
Services
SharePoint
PerformancePoint
Excel, Power Pivot,
PowerView
SQL Server
Master Data
Services
SQL Server
StreamInsight
SQL Server
RDMBS
SQL Server
Data Quality
Services
SQL Server
Integration Services
SQL Server
Data
Warehouse
19. #JSS2014
Différentes versions de StreamInsight
• Licence SQL Server 2008 R2 requiseVersion 1.0 (avril 2010)
• Prise en charge du framework 4
Version 1.0 Refresh 1 (juin
2010)
• Prise en charge pour les sources et les récepteurs d'événement
qui implémentent les interfaces IObservable ou IEnumerable.Version 1.1 (octobre 2010)
• Nouvelles fonctionnalités de développement et amélioration
des outils et de la gestionVersion 1.2 (juin 2011)
• Licence SQL Server 2008 R2 requise
• Améliorations des performances
Version 2.0 (avril 2012)
• Un nouveau modèle d'objet plus clair et cohérent est introduit.
• Utilise Reactive Framework (Rx).
Version 2.1 (juin 2012)
Version 2.3 (avril 2014)
CEP est une technologie pour le traitement de flux d'événements haut débit à latence faible. Les données des sources de flux d'événements par défaut proviennent de programmes de fabrication, d'applications financières, de services d'analyse Web ou d'analyse opérationnelle. L'architecture de traitement de flux de StreamInsight et la plateforme de développement familière basée sur Microsoft .NET donnent les moyens aux développeurs d'implémenter rapidement des applications de traitement d'événements à la fois robustes et performantes.
Performances et débit de données hautement optimisés :
architecture légère
l'exécution parallèle
caches en mémoire
La latence faible
Environnement de développement .NET
langage .NET de Microsoft, tel que Visual C#, en tirant parti du LINQ
d'écrire rapidement des requêtes
Fonctionnalité de déploiement flexible :
DLL hébergée (incorporée).
serveur autonome
batterie de serveurs.
Simplicité de gestion
L'interface de gestion et les vues de diagnostic
un débogueur de flux d'événements autonome
Pour vérifier que les produits et processus s'exécutent de façon optimale et avec le moins de temps mort possible, les usines requièrent des capacités de collecte de données et d'analyse des périphériques et capteurs par usine et par étage, avec une faible latence. Le scénario de fabrication par défaut inclut les spécifications suivantes :
Analyse basée sur les ressources et l'agrégation des données par ordinateur.
Observation basée sur les capteurs des activités par usine et étage et sortie.
Observation et réaction via des contrôleurs de périphérique.
Capacité de gérer au maximum 10 000 événements de données par seconde.
Événement et génération d'alerte en cas de problème.
Maintenance proactive basée sur des conditions sur le matériel clé.
Analyse à faible latence de données agrégées (fenêtrées et échelles logarithmiques).
Une expérience client optimale d'un site Web commercial requiert le traitement à latence faible du comportement de l'utilisateur et des interactions sur le site. L'application d'analyse des parcours de visite par défaut inclut les spécifications suivantes :
Capacité de piloter la mise en page, la navigation et la présentation en fonction de l'analyse des parcours de visite à latence faible.
Capacité de gérer au maximum 100 000 événements de données par seconde pendant les heures de pointe du trafic.
Identification de modèles de flux de données de clic et réponse immédiates avec une campagne de publicité ciblée.
L'échange algorithmique, avec ses besoins en traitement de données à fort volume, a en général les spécifications suivantes :
Capacité de gérer au maximum 100 000 événements de données par seconde.
Traitement des requêtes limité dans le temps.
Analyse et capitalisation dans les conditions de marché actuelles avec des fenêtres très courtes d'opportunité.
Filtrage intelligent des données d'entrée.
Capacité de définir des modèles sur plusieurs sources de données et de déclencher automatiquement, dans le temps, les décisions de vente/achat/attente pour l'actif d'un portefeuille.
Le secteur public requiert une infrastructure efficace pour la gestion des grilles électriques et d'autres services. Ces systèmes ont en général les spécifications suivantes.
Réponse immédiate aux variations de consommation d'énergie ou d'eau, pour réduire ou éviter les coupures de courant ou pénuries d'eau ou d'autres interruptions de service.
Obtention de rendements opérationnels et environnementaux en adoptant des grilles intelligentes.
Plusieurs niveaux d'agrégation le long de la grille.
Capacité de gérer un maximum de 100 000 événements par seconde issus de millions de sources de données.
Lorsque vous comparez le paradigme de la requête, la différence clef à comprendre est que dans un scénario d'analyse de données relationnelles, les requêtes sont déposées dans la banque de données et exécutées contre le jeu d'enregistrements qui sont stockés là. À l'inverse, dans un scénario CEP, les requêtes sont statiques et opèrent sur un flux constant de données. En d'autres termes, dans un scénario de relationnel, les requêtes aller aux données, mais dans le scénario de la CEP, les données proviennent pour les requêtes.
Une analogie qui pourrait contribuer à expliquer cette différence est d'imaginer que vous devez compter les voitures rouges. La première analogie (comme dans le modèle de requête relationnelle) consisterait à diriger toutes les voitures sur un parking, à proximité du stationnement afin que les voitures ne peuvent entrer ou laisser jusqu'à ce que vous avez fini de compter les voitures qui sont rouges. Une autre approche (analogue à la CEP) serait de se tenir par la route et compter chaque voiture.
StreamInsight implémente une architecture de flux légère qui prend en charge l'exécution parallèle de requêtes continues sur des données haut débit. L'utilisation de caches en mémoire et le calcul de résultat incrémentiel fournissent d'excellentes performances avec les données haut débit et à latence faible. La latence faible est obtenue parce que les événements sont traités sans charge de données onéreuse ou opérations de stockage dans le chemin d'accès de traitement critique. Avec StreamInsight, tout le traitement est déclenché automatiquement par les événements entrants. En particulier, les applications n'ont pas à supporter de surcharge pour l'interrogation des événements. La plateforme fournit les fonctionnalités pour la gestion d'événements non ordonnés. De plus, les données de référence statique ou les données d'historique sont accessibles et incluses dans l'analyse à latence faible.
Nous recommandons l'édition Premium pour les applications exigeant un taux d'événement supérieur à 5 000 événements par seconde ou dont la tolérance de latence est inférieure à cinq secondes. L'édition Standard est plus adaptée aux applications dont le taux d'événement est inférieur à 5 000 événements par seconde et/ou dont la tolérance de latence dépasse cinq secondes.
Taux d'événement — Nombre d'événements devant être traités par seconde.
Tolérance de latence — Durée pendant laquelle les événements doivent être mobilisés afin de générer la sortie désirée.
On parlait des speakers, il y a une chose qui leur tient à cœur !
On parlait des speakers, il y a une chose qui leur tient à cœur !