1. HOW BIG DATA KEEPS US ROLLING
22 september 2016
Marc Lelijveld
2. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Even voorstellen…
Marc Lelijveld
BI-Consultant
Focus op Microsoft BI & Analytics
+316 11 73 66 69
Marc.Lelijveld@Centric.eu
Linkedin.com/in/MarcLelijveld
Twitter.com/MarcLelijveld
4. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Big Data…?
Veracity
Data Uncertainty
Managing the reliability
and predictability of data.
Variety
Data in many forms
Structured, unstructured,
text, multimedia.
Volume
Data at Scale
Terabytes to petabytes of
data.
Velocity
Data in Motion
Analysis of streaming data
to enable quick decisions.
5. HOW BIG DATA KEEPS US ROLLING September 23, 2016
The Internet of Things
6. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Smart Homes
7. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Smart Cities
8. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Maar ook…
Open dataSocial Media
9. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Maar hoeveel dan…?
Dagelijks
5.7 GB
Per huishouden
Hoeveelheid data op de wereld
VERDUBBELT
iedere twee jaar
In 2020 wereldwijd
44 zettabyte
data
IoT devices
200
miljard
In 2020
40%
data in de cloud
10. HOW BIG DATA KEEPS US ROLLING September 23, 2016
11. HOW BIG DATA KEEPS US ROLLING September 23, 2016
En nu in de praktijk…
International
Infra en rail
Internationale projecten
voor infrastructuur en
railsystemen.
Civiel
Infrastructuur
Zowel weg- als waterbouw.
Worksphere
Werkomgevingen
Zowel installatietechnisch
als bouwkundig.
Rail
Spoor en trein
Onderhoud, nieuwbouw,
infrastructuur, hardware
en software.
12. HOW BIG DATA KEEPS US ROLLING September 23, 2016
En nu in de praktijk…
13. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Remote
Monitoring
Box
14. HOW BIG DATA KEEPS US ROLLING September 23, 2016
15. HOW BIG DATA KEEPS US ROLLING September 23, 2016
79 x groter!
16. HOW BIG DATA KEEPS US ROLLING September 23, 2016
17. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Indian Railway
18. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Cortana Intelligence Suite
19. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Procesflow
20. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Procesflow
21. HOW BIG DATA KEEPS US ROLLING September 23, 2016
22. HOW BIG DATA KEEPS US ROLLING September 23, 2016
23. HOW BIG DATA KEEPS US ROLLING September 23, 2016
24. HOW BIG DATA KEEPS US ROLLING September 23, 2016
25. HOW BIG DATA KEEPS US ROLLING September 23, 2016
26. HOW BIG DATA KEEPS US ROLLING September 23, 2016
27. HOW BIG DATA KEEPS US ROLLING September 23, 2016
28. HOW BIG DATA KEEPS US ROLLING September 23, 2016
29. HOW BIG DATA KEEPS US ROLLING September 23, 2016
30. HOW BIG DATA KEEPS US ROLLING September 23, 2016
31. HOW BIG DATA KEEPS US ROLLING September 23, 2016
32. HOW BIG DATA KEEPS US ROLLING September 23, 2016
33. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Conclusie
Februari 2016 Juni 2016 ???
34. HOW BIG DATA KEEPS US ROLLING September 23, 2016
Lessons Learned
Cortana Intelligence
Suite
Event Producers Azure IoT SuiteEvent Producers
35. QUESTIONS?
Marc Lelijveld
+31 6 11 73 66 69
Marc.Lelijveld@Centric.eu
Bezoek ons op:
Stand 84
Linkedin.com/in/MarcLelijveld
Twitter.com/MarcLelijveld
Notas do Editor
Voorstellen
Big Data, het is tegenwoordig overal om ons heen. Alles wat wij om ons heen zien, bevat en verzameld data.
Maar wat is het? En wat kunnen we er mee?
Voor Big data wordt vaak over de V’s gesproken. Er zijn er meerdere, maar deze vier komen het meeste voor.
Volume
Variety
Velocity
Veracity
Toch zijn dit abstracte begrippen. Wat wat is groot? Vaak wordt terabytes of petabytes aangegeven. Dat betekend dat Big Data in Nederland niet bestaat.
The Internet of Things, ook wel IoT, is iets wat we dagelijks terugzien. We hebben er allemaal bewust of onbewust mee te maken.
We koppelen alles aan elkaar. Telefoons, tablets, smartwatches.
Maar misschien wel het meest actuele voorbeeld: de radio reclame waarin de man aangeeft dat de vaatwasser lekt.
Ook in huis is er spraken van grote hoeveelheden data.
Denk bijvoorbeeld aan:
De verlichting aan/uit zetten met je telefoon
Digitale thermostaat zoals Toon en Nest
Camera’s
Maar ook in steden wordt overal data verzameld.
Denk aan:
Het ophalen van het huisvuil, waarbij de container wordt gewogen.
Het OV, waar je dagelijks in- en uitcheckt.
Free Wi-Fi
Parkeergarages
Camera bewaking
Maar er is nog veel meer dan de apparaten om ons heen.
Social media is zelfs een van de grootste Big Data bronnen.
Maar ook open data is een goed voorbeeld. Het CBS, Rijkswaterstaat, RDW en nog veel meer.
IoT zorgt voor een grote toename in de hoeveelheid data die we hebben.
Maar hoeveel dan?
1 ZB = 10007bytes = 1021bytes = 1.000.000.000.000.000.000.000 bytes = 1000 exa bytes = 1 million petabytes = 1 billion terabytes = 1 trillion gigabytes.
http://www.smartbiz.be/article/154922/wereldwijd-beschikbare-opslagcapaciteit-kan-datagroei-niet-bijbenen/
Maar hoe komen we van Big Data naar waardevolle inzichten?
En hoe kunnen we deze inzichten intepretabel maken?
Bij Centric, een opdracht uitgevoerd voor Strukton.
Strukton bestaat uit vier grote onderdelen:
Worksphere
Civiel
Rail
International
De uitgevoerde opdracht was Strukton Rolling Stock, onderdeel van Strukton Rail.
Rolling Stock maakt aandrijvingen, besturingen, omvormers en alle denkbare onderdelen voor treinen.
Zo heeft Strukton een Remote Monitoring Box ontwikkeld.
Verbonden met alle onderdelen in een trein.
Verzameld continu data.
Zoals:
Inkomende stroom
Verbruikte stroom
Overspanning
Bediening van de machinist
De data die we gebruikt hebben tijdens de PoC, is afkomstig van Indian Railway, een van de grotere klanten van Strukton Rolling Stock.
Ter vergelijking, de oppervlakte van India en Nederland. Hiermee kun je direct zien wat de afstanden zijn die door de treinen afgelegd moeten worden.
De data die we gebruikt hebben tijdens de PoC, is afkomstig van Indian Railway, een van de grotere klanten van Strukton Rolling Stock.
Ter vergelijking, de oppervlakte van India en Nederland. Hiermee kun je direct zien wat de afstanden zijn die door de treinen afgelegd moeten worden.
Op dit moment zijn er 6 locaties waar een trein voor onderhoud en service naar toe kan.
Ook is een tweebaans spoorweg in India eerder luxe dan gewoonte.
Hierdoor is een stilstaande trein een groot probleem en zorgt voor veel vertraging en financiële gevolgen.
Dit toont direct het belang aan van remote monitoring.
Op afstand en vroegtijdig de status van het voertuig kunnen monitoren, kan uitval en problemen voorkomen.
De treinen die zijn voorzien van de Remote Monitoring Box, gaan als eerst rondrijden in het Central Railway gebied rondom Mumbai.
De Remote Monitoring Box verzamelt op dit moment nog geen live data uit de treinen. Er wordt aan gewerkt om dit zo spoedig mogelijk in gang te zetten.
http://www.indianrailways.gov.in/#
http://irfca.org/faq/map/Mumbai_suburban_rail_map_large.png
https://upload.wikimedia.org/wikipedia/commons/3/38/Railway_network_map.png
https://en.wikipedia.org/wiki/Central_Railway_zone#Divisions_of_Central_Railway
Project aangepakt als een Proof-Of-Concept
Toetsen van de mogelijkheden van de Cortana Intelligence Suite.
Suite aan producten/diensten van Microsoft in de cloud.
Alles op het Azure platform
Op basis van de huidige data doen we aannamens. Om dit te kunnen toetsen is het toevoegen van locatie gegevens en meteorologische gegevens is de volgende stap.
In de zomermaanden zien we een verhoging van het aantal fouten, de oorzaak hiervoor kan het regenseizoen zijn. Maar dit willen we toetsen.
We zijn op de goede weg, maar we zijn er nog lang niet!
De ontwikkeling van een IoT oplossing met Big Data is niet iets wat je even in een paar maanden neerzet.
Ondertussen zijn we 7 maanden onderweg. En continu blijven we uitdagingen tegen komen waar tijd in gaat zitten, maar uiteindelijk leid tot het gewenste resultaat.
Gedurende het onderzoek is er gebruik gemaakt van elementen uit de Cortana Intelligence Suite. Achteraf terug kijkend, hadden we beter voor de Azure IoT Suite kunnen kiezen die meer mogelijkheden bied.
Met de Azure IoT Suite is het mogelijk om volledige automated systems te maken. Hierbij wordt er op basis van de data een beslissing gemaakt en terug gestuurd naar het IoT device.
Wanneer we dit toepassen bij de casus van Strukton, speelt hierbij wel een belangrijke vraagstuk. Je kunt je voorstellen dat je niet zomaar een trein stil kunt zetten. Dus wie is er verantwoordelijk als het fout gaat? Strukton, Centric of de programmeur?