Findability Day 2015 Liam Holley - Dassault systems - Insight and discovery...
BigData med logganalys
1. Big Data med Logganalys
Frukostseminarium Findwise Stockholm 15 april 2015
2. • Big data på riktigt – ingen hype, bara nytta.
• Exempel #1: IT-drifts- och applikationsövervakning
• Exempel #2: Analys av kundbeteende
• Fem steg för ett lyckat projekt
Ställ gärna frågor under seminariet!
Välkomna!
3. Visualiserad loggdata ger ökad affärsnytta
Vad vill du veta? – Nästan allt som händer finns i loggfiler
4. Big Data
Exempel på tillämpningar:
Analysera…
Användarbeteenden i webbtjänster, ge
bättre rekommendationer
Sensordata i en fabrik eller
konsumentprodukter
System och applikationer i en IT-
driftsmiljö
Väldig bredd på tillämpningar!
7. Big Data med Logganalys
Sökmotor
Aggregerar data
Skapar statistik
8. Enkel välpaketerad teknik – behöver inte systemutveckling
Snabb återkoppling på idéer – det går fort att ladda in en fil
och skapa grafer och dashboards
Behöver inte IT-hjälp mer än att få access till loggfilerna. Låg
grad av ”invasivitet”.
Varför big data med logganalys?
11. Användningsområden
Visualiserad loggdata i verksamheten för att
förstå kunden och nå verkliga effekter i
affären.
Systemövervakning, felsökning och
bedrägeriutredningar.
Felsöka och
undersöka
Proaktiv
monitorering och
alarm
Insikter i
verksamheten
Affärsinsikter i
realtid
Proaktiv
Reaktiv
12. Intressenter för visualiserad loggdata
Säljledare & säljare
Marknad &
internetavdelning
Kundcenter,
Backoffice &
Internetsupport
Affärsledning &
Affärsansvariga
Riskkontroll
Leveransteam
IT
Proaktiv och informerad
förvaltning
Aktiv säljledning Öka försäljning
Nöjdare kunder
Öka effektivitet
och säkerhet
Följa försäljning i närtid
Följa kundernas beteende
Visualisera aktivitet och
försäljning per kanal och produkt
Informerat kundmöte
Visa kundens senaste aktivitet
samt förutsättningar
Säkerhetsstöd Snabbare analyser
Följa hur de tekniska systemen
presterar
Att visualisera Förändring i organisationen Önskad effektIntressentgrupp
14. Loggdata innehåller affärskritisk information
Kund ID Order ID Produkt ID
Order ID Kund ID
Väntetid
Kund ID
Twitter ID Kundens Twitter
Företagets Twitterkonto
15. Loggdata innehåller affärskritisk information
Kund ID Order ID Produkt ID
Order ID Kund ID
Väntetid
Kund ID
Twitter ID Kundens Twitter
Företagets Twitterkonto
18. Utmaningen
Hur vet jag hur mina system mår?
Många system ➜ många gränssnitt för monitorering
Databas
Admin-
verktyg
Ärende-
hantering
Webb-
gränssnitt
Brand-
vägg
Terminal
Produkt
Ingen
monitorering
Webb-
server
Webb-
gränssnitt
Wed Oct 1 17:55:33.368 <airportd[92]> _handleLinkEvent: Got an error trying to query WiFi for power. Resetting state variables.
localhost - - [29/Apr/2014:14:34:51 +0200] "POST / HTTP/1.1" 200 353 Set-Job-Attributes successful-ok
Oct 1 07:10:39 - WindowServer[103] <Warning>: device_generate_desktop_screenshot: authw 0x7fb9705eb7d0(2000), shield
0x7fb975116f80(2001)
[Thu Mar 20 17:43:10 CET 2014]installer saved state: /Users/theuser/Library/Saved Application
State/com.apple.installer.savedState/windows.plist
[3454682.044] noPseudoramiXExtension=0, pseudoramiXNumScreens=1
19. Förbättrad IT med logganalys
• IT-avdelning i logistikbranschen
• Outsourcad utveckling och drift
• Kvalitetsproblem och driftstörningar
Hur får jag en bild av hur systemen används?
Adress- och
mottagar-
register
Paket-
spårning
Sorterings-
system
Logganalys-
verktyg
23. • Internetbank
• Flytt av konton eller fonder från andra banker
• En flytt är flera steg
• Kunden kan avbryta på flera sätt
• Rådgivare kan hjälpa till
Hur kan vi hjälpa de kunder som vill flytta?
Förbättrad kundtjänst & rådgivning
24. • Fånga de som är kvar i processen
• Ge kundtjänst och rådgivning information om vad kunden har
försökt göra
27. Findability by Findwise™
Business (needs & goals)
Information (quality & structure)
Users (needs & capabilities)
Organisation (change & governance)
Technology (platform & functionality)
28. Så genomförs ett projekt
Analys av
information
•Utförs med
informationsexpert
hos kunden
Ta fram rapport /
analysstöd
•Grafer
•Dashboard
Demo
•Få feedback
•Korrigera
Identifiera use-
case &
information
•Vilka affärsprocesser
ska stöttas
Etablera
övergripande
affärskrav – målbild
Kontinuerlig leverans
av rapporter /
analysstöd för olika
processer och
affärsbehov
IT
Hårdvara/infrastruktur
Installera verktyg
Licens
Etablera organisation
• Ägarskap
• Rutiner feedback/förändring
• Underhåll teknik + rapporter/analyser
Roll 1: Affärssponsor Roll 2: Informationsexpert
Förstår data-/loggfilerna och
sammanhanget det kan användas i
Roll 3: Affärsrepresentant
Gärna referensgrupp
29. Exempelprojekt
1. Workshop med affärssponsor, affärsintressenter och
informationsexpert (som vet vilken data som finns att
tillgå) – identifiera ett antal rapportbehov, välj ut den
viktigaste.
2. Genomför Proof-of-Concept på det viktigaste
rapportbehovet. Verifiera att data-/loggfilerna finns
tillgänglig och håller tillräckligt hög kvalitet, samt
verifiera att rapporten kan användas av
affärsverksamheten för att fatta värdefulla beslut. Tar
ca 3 veckor.
3. Med PoC-resultatet verifierat så kan leveransprojekt
etableras. Workshoppa fram prioriterad backlog av
rapportbehov, och rulla ut kontinuerligt i tät dialog med
affärssponsorer och slutanvändare. Ambitionen avgör
omfattning.
4. Etablera organisation för tekniskt underhåll och
affärsmässig förvaltning.
5. Överlämna ansvar till organisationen. Sammanställ
och presentera rapport på slutleverans.
Workshop
Proof-of-Concept
Leveransprojekt
Etablera organisation
Slutleverans
30. Viktiga framgångsfaktorer
En tydlig sponsor: affärssponsor eller IT-
sponsor beroende på fokus.
En informationsexpert som förstår vilka
data/loggfiler som finns och hur de ser ut.
Representanter av slutanvändare.
Jobba i korta agila iterationer, testa sig fram.
31. Varför visualiserad loggdata?
Låg ”invasivitet” – kräver mycket liten insats
från IT-/utvecklarorganisationen.
Snabbt att få fram demos – stödjer en agil
filosofi där affärsverksamheten är aktiva
deltagare – ”Rapid Business Intelligence”.
Kostnadseffektivt – stor affärsnytta – minimalt
med strul.
Översikt inloggade de senaste 24 h på internetbanken och via mobil
Händelser inom de tre benen låna spara och betala
Blåa siffror bygger på sökningar och förändras över tid. Svarta siffror är hårdkodade exempelvärden och representerar inte rimliga värden.
Översikt inloggade de senaste 24 h på internetbanken och via mobil
Händelser inom de tre benen låna spara och betala
Blåa siffror bygger på sökningar och förändras över tid. Svarta siffror är hårdkodade exempelvärden och representerar inte rimliga värden.
Översikt inloggade de senaste 24 h på internetbanken och via mobil
Händelser inom de tre benen låna spara och betala
Blåa siffror bygger på sökningar och förändras över tid. Svarta siffror är hårdkodade exempelvärden och representerar inte rimliga värden.
Hur vet jag hur mina system mår?
IT miljö med många olika system, och typer av system
Många har redan möjlighet för monitorering
Webgui
Terminalverktyg
Som del I administrationsverktyg, t.ex. Databasadmin-program
Och I många fall finns ingen möjlighet till monitorering alls!
En möjlighet som finns I nästan alla system är loggning
Loggarna berättar vad som händer
Från loggarna och mönster I dem kan vi se att systemet mår bra eller dåligt
Detta är något som vana systemadministratörer ofta redan ser när de manuellt tittar på loggar
Genom loggarna kan vi också få enhetlig monitorering, t.o.m. på system som annars saknar sånt!
Förklara att man vill fånga de som avbrutit en köpprocess
Förbrättrad kundservice genom att bevaka hur kunderna agerar
How to address theses challenges and expectations when creating search solutions? Findability by Findwise is an holistic approach to creating state-of-the-art solutions utilising all our experience and various competencies.
Click the links to show examples to illustrate the difference between “simple search” and search-driven Findability.
We have a concept to get started with log analysis for doing big data things. We start out by choosing a process or area that we are interested in. The idea is to build a pilot or even a full solution iteratively together with the business.
Can be difficult for the business to understand what logs can be used for.
Don’t need much buy-in from IT except installation and indexing of logs – non-intrusive!
A number of workshops are held in parallell with development, to act as inspiration and to set the scope for the next iteration.
1. Start up
Get the systems, the hardware and the access
2. Understand
Get a basic understanding of the process or area
Identify systems and logs that are relevant
Explore the logs
Set the scope!
3. Develop
Demos and inspiration
Iterative development of dashboards or other reporting
4. Finish
Hand over to business & IT
Report the findings, backlog and such