Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen

Endeca Web Acquisition Toolkit Integration verteilter Web-Anwendungen und anderer Datenquellen
Harald Erb Oracle Business Analytics
DOAG Konferenz
Nürnberg, 19. November 2014
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. |

•Harald Erb
•Principal Sales Consultant
•Business Analytics Architect Domain Lead - DE/CH Cluster
•Kontakt +49 (0)6103 397-403
•harald.erb@oracle.com
Referent

Safe Harbor Statement
The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.
4

Agenda
5
„Discovery Lab“-Konzept mit Endeca
Allg. Datenintegration & Endeca Web Aquisition Toolkit
Endeca WAT Anwendungsfälle
Ausblick Discovery Lab
1
2
3
4

Agenda
6
1
2
3
4

7
Interne qualitätsgesicherte Daten aus dem Oracle Data Warehouse , Oracle BI System oder anderen strukturierten Datenquellen liefern die notwendigen Fakten
Click icon to add picture
Externe Kundendialoge zum Thema sind direkt bei Twitter oder bei Mehrwertdiensten über entspr. Schnittstellen erhältlich
Click icon to add picture
Die Inhalte vieler Fachforen sind ohne Datenschnittstelle nicht in kurzer Zeit in eigene Analysen einbindbar  Ansatz für das Endeca Aquisition Toolkit
Analyse-Szenario: Australischer Wein(markt)
INTERN
OK
OK
EXTERN
?

Ziel: Eine Analyse-Anwendung über (möglichst) alle Quellen

9
Oracle Information Management Architektur
Line of Governance
Konzeptansicht

10
Oracle Information Management Architektur
Event Engine
Erkennt vordefinierte Ereignismuster direkt im Datenstrom und ermittelt z.B. per Echtzeitanalyse die nächste beste Aktion/Handlung
Data Reservoir
Ökonomisch einsetzbares Scale-out Speichersystem, dass massiv parallel Daten verarbeiten kann, ohne dabei allzu strenge Anforderungen an Datenmodellierung oder Formalisierung der Daten zu stellen – typischerweise Hadoop Cluster oder Staging Area in RDBMS
Data Factory
Für das Management aller Datenflüsse (ETL) innerhalb einer bzw. zwischen den Platfformen
Enterprise Information
Groß angelegter Datenspeicher, der unternehmenskritische Daten in formalisierter und modellierter Form beherbergt – typischerweise manifestiert als (Enterprise) Data Warehouse und in Kombination mit dem Data Reservoir als Big Data Management System ausgeprägt.
Reporting
BI Abstraktionsschicht /KPI‘s, -Werkzeuge, -Infrastruktur für Berichtswesen, Analyse und Planung
Discovery Lab
Abseits der täglichen Datenverarbeitung werden hier neue interne und/oder externe Datenquellen nach ihrer Werthaltigkeit für die zukünftige Unternehmenstätigkeit untersucht. In Kombination mit eigenen Datenbeständen und mit Hilfe spezieller Methoden/Werkzeuge für Analyse, statistische Berechnungen, Mustererkennung, Ergebnisvisualisierung, erlangt ein kleiner, hochspezialisierter Benutzerkreis neue Erkenntnisse, die sich in der Praxis bewähren müssen
Komponenten der Konzeptansicht

•Fokus liegt auf Identifizierung des wirtschaftlichen Wertes und der kommerziellen Nutzbarmachung neuer Daten-Sets
•Kleiner Anwenderkreis mit hoch qualifizierten Personen (Data Scientists)
•Entwicklungsansatz  iterativ, orientiert sich an Daten(-beschaffenheit) und NICHT an Entwicklungs- prozessen
•Breites Spektrum von Werkzeugen und Analyse- und Visualisierungstechniken kommen zur Anwendung
•Datenbereitstellung kann über die Data Factory oder eigene ETL-Prozesse erfolgen
•Typischerweise als separate Infrastruktur ausgelegt
11
Discovery Lab - Konzeptansicht
Merkmale und Design Pattern

12
Projektbezogene Analyse-Sandboxen
Discovery Lab – Logische Ansicht
Analyse (Verarbeitung & Bereitstellung)
Discovery Lab & Data Science Werkzeuge
Data Reservoir & Enterprise Data
Data Science (Primary Toolset)
Statistikwerkzeuge
Data & Text Mining Werkz.
Faceted Query Werkzeuge
Programmierung & Scripting
Daten Modellierung/ETL
Query & Search Werkzeuge
Vorgefertigte BI-Inhalte
Analyse-
Werkzeuge
Ad Hoc Abfragen
& Analyse Werkzeuge
OLAP
Forecasting- &
Simulationswerkzeuge
Standardberichte
Data Scientist
Virtualisierung & Informationsdienste
Data Factory Flow
1.Data Factory – ermöglicht Daten- zugang oder (Teil-) Replikation in Richtung der Sandboxes im Discovery Lab.
2.Direkte Verbindung (lesend und schreibend!) zwischen Data Science Werkzeugen und den Analyse Sandboxen.
3.Data Scientist Zugriff auf die Abstraktionsschicht oder Werkzeuge der vorhandenen BI Plattform (Standard Dashboards, Reports und KPI’s)
Data Quality & Profiling
Visualisierungswerkzeuge
Dashboards & Reports
Scorecards
Diagramme & Graphen
Sandbox – Project 3
Data store Analytical Processing
BI Flow
1
2
3

?
13
Discovery Lab mit Endeca
EID Studio
Anwenderoberfläche für Data Mash-up und zur Erstellung von intuitiv nutzbaren Discovery- Applikationen
Self-Service Provisioning
Sharing and Collaboration
Drag & Drop Composition
Intuitive Exploration
EID Integrator
Zur schnellen Integration und Anreicherung von strukturierten und niedrig- strukturierten Daten
Innovative ETL
Web and File Crawling
Text Enrichment
Endeca Server
Skalierbare, gesicherte und zentral betriebene Engine (= kombinierter Ansatz aus In-memory Suchindex und analytischer Datenbank)
EID Web Acquisition Toolkit
Synthetic API Creation
Plattform zur Integration von webbasierten Daten- quellen, die keine Schnittstelle für den Datenexport anbieten
Twitter OAuth Interface
Portale, Blogs, Internet Foren
Interne Datenquelle(n):
Data Warehouse und/oder BI Plattform
Analytic Application “Australian Wine”
Twitter und/ oder ähnliche (Social Media) Plattformen mit API
Beteiligte Komponenten

14
Data Warehouse / BI Plattform
Endeca Server Index
Wine
Sales
Item
Location
Brand
Type
Qty
Forum / Blog Posts
Type
Item
Date
Brand
Date
Topic
Review
Item
Datenbereitstellung ohne vorherige Datenmodellierung
Automatische Verknüpfung
Endeca Server

15
Endeca Server
Spezielle, In-Memory Engine für strukturierte und niedrig strukturierte Daten
Datennavigation und -exploration über alle verfügbaren Attribute und Textbestandteile
Datenanreicherung zum automat. Extrahieren der wesentlichen Textinhalte
Relevante Themen aus Fließtexten und Dokumenten und ihre Tonalität erkunden
Volltextsuche enthält Rechtschreibkorrektur, Stopworte, Synonyme, Stemming, Match Modes und konfig. Relevance Ranking
Differenzierte analytische Abfragen und interaktive Daten Visualisierungen
Explorative Analyse via Facettennavigation und Suche

16
Zusammenspiel mit einer etablierten Oracle BI-Plattform
Zuverlässige Antworten auf erwartete Fragen
Analytischer Mehrwert: Dauerhaft
Zielgruppe: Unternehmensweit
Projektart: Proaktiv / Anforderungen sind bekannt
Schnelle Antworten auf unvorhersehbare Fragen
Analytischer Mehrwert: Sofort
Zielgruppe: Individuell … spezifische Gruppen
Projektart: Reaktiv / häufig wechselnde Anforderungen
ERP, CRM, … , DWH, Marktdaten
Oracle Common Enterprise Information Model
Standardberichte, Dashboards, Ad-hoc, Planung
Datensilos, eigene Dateien, externe Inhalte
Agile Data Mashup
Self-Service Discovery Applikationen
Qualitätsgesicherte Daten
Leistungsfähige Infrastruktur
LOB getrieben
(Top-down)
IT getrieben
(Bottom-up)

Agenda
17
1
2
3
4

?
18
Möglichkeiten der Datenintegration in Endeca
EID Studio
Anwenderoberfläche für Data Mash-up und zur Erstellung von intuitiv nutzbaren Discovery- Applikationen
Self-Service Provisioning
Sharing and Collaboration
Drag & Drop Composition
Intuitive Exploration
EID Integrator
Zur schnellen Integration und Anreicherung von strukturierten und niedrig- strukturierten Daten
Innovative ETL
Web and File Crawling
Text Enrichment
Endeca Server
Skalierbare, gesicherte und zentral betriebene Engine (= kombinierter Ansatz aus In-memory Suchindex und analytischer Datenbank)
Synthetic API Creation
Plattform zur Integration von webbasierten Daten- quellen, die keine Schnittstelle für den Datenexport anbieten
Twitter OAuth Interface
Portale, Blogs, Internet Foren
Interne Datenquelle(n):
Data Warehouse und/oder BI Plattform
Analytic Application “Australian Wine”


Twitter und/ oder ähnliche (Social Media) Plattformen mit API

Beispielanwendung „Australian Wine“

19
Beispiel: Twitter API's abfragen, Ergebnis anreichern und in Endeca Server laden
Endeca Information Discovery Integrator

20
Mehrwertdienste nutzen – Beispiel DataSift
Endeca Information Discovery Integrator
• Sentiment
• Influence
• Geo
• Weblinks
• Real-time
• Historical
Quelle: http://thewinewankers.com.au/2014/07/14/the-50-most-influential-wine-entities-on-social-media

21
Falls die Datenquelle keine oder nur eine im Umfang beschränkte API anbietet
Endeca Web Aquisition Toolkit
EID Integrator
auswine.com.au
winespectator.com
Endeca Server
Erstellen eines Workflows zur An-bindung von Live-Daten und auto-matisierter Extraktion von Web-Inhalten sowie Speicherung in eine Datenbank (nur eine mgl. Option)
Fortsetzung des Ladeprozesses durch Übernahme der strukturierten Daten, Anreicherung des Fließtextes (durch Entitäten-Extraktion, Text-Tagging und Sentiment-Analyse) sowie Laden der Daten in den Endeca-Server
Beispiel-Szenario: Australian Wine

22
Endeca Web Aquisition Toolkit = OEM Produkt von Kapow
Prinzip Kapow Katalyst 9.2.9
Architektur

23
Endeca Web Aquisition Toolkit – Design Studio
Workflow
• Aktionen
• Tag Finder
• Variablen- Definition
• Fehlerbe- handlung
Code lines
Live-Daten Browser- Simulation
Projekt- struktur

24
Endeca Web Aquisition Toolkit – Design Studio
Extraktionslogik für http://forum.auswine.com.au

25
Endeca Web Aquisition Toolkit – RoboServer

26
Endeca Web Aquisition Toolkit – Management Console
„Datenintegration as a Service“

Agenda
27
1
2
3
4

Market Intelligence
•Competitive Pricing
•Social Media and Brand Monitoring
•Financial Research
•Open Source Intelligence
•Fraud Detection
Ecosystem Automation
•Logistics Integration
•Partner Integration
•Customer Integration
•Talent Management
28
Content Integration
•Content Migration
•Enterprise Search
•Legacy Application Integration
Endeca Web Aquisition Toolkit (Kapow Katalyst)
Einsatzbereiche
Relevant für Discovery Lab-Konzept

29
Beispiel 1: Price & Revenue Management
Prinzip

30
Beispiel 1: Price & Revenue Management
Mapping zum Oracle Product Stack

31
Beispiel 2: Machine-2-Machine Integration
Quelle: www.kapowsoftware.com/assets/casestudies/Deutsche-Telekom-us-letter.pdf
M2M Competence Center Deutsche Telekom stellt im internen Application Store u.a. eine SIM-Info App bereit, die mit Kapow Katalyst zeitaufwändige Suchen und Analysen automatisiert:
̶CRM-System  Kundenidentifikation
̶ERP-System  SIM-Karten Lieferung ok?
̶Netzwerk-Adminsystem  SIM aktiv?
̶Ticket-System  weitere Infos
̶... Ergebnis:
̶Analyseprozess von 90 auf 4 min verkürzt
̶Schnelle Bereitstellung der Schnittstelle

Aufgabenstellung
•Bestehende B2C Online Banking-Anwendung der Commerzbank war für den Desktopzugriff konzipiert und benötigte eine relativ hohe Bandbreite
•Für Nutzung auf Android, iOS oder anderen mobilen Geräten weniger geeignet: kleinere Bildschirme, beschränkte Bandbreite ließen ein gutes Nutzererlebnis nicht zu
Lösung
•neue App basierend auf bestehendem Mobile Banking- Angebot erstellt
•Auf Kapow Katalyst basierende Web Services unterstützen das schlanke Interface der App
•Entkopplung von alten und neuen HTML-Inhalten über ein Web Service Layer ermöglicht neue Workflows und Funk- tionen, die selbst bei geringer Bandbreite für ein optimales Nutzererlebnis sorgen.
32
Ergebnis
•Neue Die Commerzbank Banking & Service App wurde seit 2011 über 250.000 Mal heruntergeladen und wird täglich von mehr als 25.000 Commerzbank-Kunden genutzt
•Flexible Plattform kann nun zeitnah auf sich ändernde Anforderungen im Bereich Mobile Banking reagieren und jederzeit Daten aus beliebigen Datenbanken, Anwendung oder Website in die Applikation integrieren
Beispiel 3: Optimierung Mobile Services
Quelle: kapowsoftware.com/de/downloads/pdf/commerzbank-a4-german.pdf

Aufgabenstellung
•Externe web-basierte Anwen- dungen, z.B. für Fahrkartenkauf und Hotelbuchungen sollten in Intranet-Portal von Audi integriert werden – Ziel: einheit- liche Menüführung
•Direktzugriff auf frei verfügbare Online-Dienste war ineffizient:
–Störung durch Werbung
–Unterschiedl. Menüführung der Seiten verringerte Mitarb.- Produktivität
–Manche Online-Dienste waren aufgrund interner IT-Richtlinien schlicht gesperrt
Lösung
•Mit Kapow Katalyst wurden interne und externe Services unter Berücksichtigung der Sicherheitsanforderungen in ein Portal integriert
•Beispiel: Länderdatenbank für Infos und volkswirtschaftliche Daten zu mögl. Produktions- und Vertriebstandorten
33
Ergebnis
•Audi‘s interne Plattform besteht aus acht einzelnen Portalen, die ca. 60.000 Mitarbeiter nutzen
•15 interne und externe Dienste und Anwendungen sind zur Erleichterung der Arbeits- abläufe über das Intranet erreichbar
•IT-Abteilung kann neue Services in 1..2 Wochen integrieren, statt an Projekte von ein bis zwei Monaten gebunden zu sein
Beispiel 4: Anbindung externer Dienste in das Intranet
Quelle: www.kapowsoftware.com/de/downloads/pdf/audi-a4-german.pdf

Agenda
34
„Discovery Lab“- Konzept mit Endeca
1
2
3
4

35
Hadoop-Verbreitung steigt weiter

36
Analytische Erkenntnisse sind aber nur schwer erzielbar
Volume, Variety, Velocity  Komplexität
̶Daten sind unorganisiert
̶komplexe, nicht integrierte Werkzeuge
̶Spezialwissen erforderlich Folge: Mangelnder Nutzen, geringe analytische Agilität
̶80% der Zeit wird allein für Datenaufbereitung verwendet, die restliche Zeit bleibt für die eigentliche Analyse
Pfad in Richtung Produktion  unklar
̶Ergebnisse schwierig verteilbar
̶Absicherung der Daten
̶Nutzengenerierung, Risiko- minimierung, Ressourcen-Einsatz Folge: Begrenzter unter- nehmensweiter Einsatz
̶Neue Erkenntnisse werden im Unternehmen nicht weit genug verbreitet
Value ?

37
...und erfordern einen neuen Ansatz
Eine intuitive und interaktive grafische Benutzeroberfläche...
... für alle, die in Hadoop schnell Daten finden, erkunden, umwandeln, analysieren...
... und für die unternehmensweite Nutzung bereitstellen wollen
Höhere analytische Agilität
Maximale Verbreitung der Ergebnisse

38

39
Oracle Big Data Discovery – The Visual Face of Hadoop

40
Vom Konzept zur Gesamtlösung…
*) noch nicht verfügbar

41
...mit Oracle‘s Information Management Plattform
SOURCES
Big Data Discovery
Business Analytics
Data Warehouse
Big Data Appliance
Agile Data Prep. in Hadoop
+
Powerful Analytics
Data Reservoir
Exalytics
Enterprise BI
Self-Service Discovery
Data Mashup
Oracle Big Data Connectors
Managing unstructured data
Managing structured data
Oracle Big Data SQL
Exadata
Oracle Data Integrator

42

Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen

Recomendados

Recomendados

Mais conteúdo relacionado

Destaque

Destaque (20)

Semelhante a Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen

Semelhante a Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen (20)

Mais de Harald Erb

Mais de Harald Erb (12)

Endeca Web Acquisition Toolkit - Integration verteilter Web-Anwendungen und anderer Datenquellen