Folien zum Workshop "NoSQL - Neue Ansätze zur Verwaltung unstrukturierter Daten" im Rahmen des Kongresses "Neue Verwaltung" am 10./11.05.2011 in Leipzig (http://www.neue-verwaltung.de)

1. NoSQL Neue Ansätze zur Verwaltung unstrukturierter Daten Tilmann Söffing

2. Das Relationale Datenbankmodell Tabellenorientiert Attribut Datensatz

3. Das Relationale Datenbankmodell Einfache Beziehungen mittels Referenzierung

4. Das Relationale Datenbankmodell Mehrfachbeziehungen über zusätzliche Tabellen

5. RDBM - Probleme Flexibilität Komplexität Lokalität Konnektivität

6. RDBM - Probleme Flexibilität Komplexität Lokalität Konnektivität Anzahl der Vornamen

7. RDBM - Probleme Flexibilität Komplexität Lokalität Konnektivität

8. RDBM - Probleme Flexibilität Komplexität Lokalität Konnektivität

9. RDBM - Probleme Flexibilität Komplexität Lokalität Konnektivität

10. Der Begriff: NoSQL NoSQL steht nicht für „No to SQL“ oder „Never use SQL“

11. Der Begriff: NoSQL NoSQL steht für Not OnlySQL

13. Stark vernetzten Daten

14. Schnellen Strukturänderungen

16. Versionierung

19. DOKUMENT { Dokument: Schlüssel-Wert-Paare Schemafrei: Schlüssel sind frei wählbar Paare können jederzeit hinzugefügt, geändert und gelöscht werden "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100" }

20. DOKUMENT { Dokument: Schlüssel-Wert-Paare Schemafrei: Schlüssel sind frei wählbar Paare können jederzeit hinzugefügt, geändert und gelöscht werden "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100" }

21. DOKUMENT { Dokument: Schlüssel-Wert-Paare Schemafrei: Schlüssel sind frei wählbar Paare können jederzeit hinzugefügt, geändert und gelöscht werden. "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100"" betreff ":"Rechnung ABC" }

22. DOKUMENT { Dokument: Schlüssel-Wert-Paare Schemafrei: Schlüssel sind frei wählbar Paare können jederzeit hinzugefügt, geändert und gelöscht werden. "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100"" betreff ":"Rechnung CBA" }

23. DOKUMENT { Dokument: Schlüssel-Wert-Paare Schemafrei: Schlüssel sind frei wählbar Paare können jederzeit hinzugefügt, geändert und gelöscht werden. "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100"" betreff ":"Rechnung CBA" }

24. DATENBANK Datenbank anlegen Name der Datenbank vergeben In der Datenbank Dokumente erstellen Datenbank ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~

25. http://localhost:5984/_utils/ Datenbank „testdb“ erstellen Dokument anlegen: { "empfänger":"Eddi Müller" "betrag":"1200 EUR" "kontonr":"2221115132" "blz":"830200100" }

26. DATENMODELL Dokumentenorientiert Relational Graph-Modell ~ ~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~~ ~~~~~ ~~~~~~ ~~~~~~~ ~~~~~~ ~ ~ ~ ~ ~ ~ ~ ~ wenig bis gar nicht vernetzt z. B. Visitenkarten teilweise vernetzt z. B. Bestellungen hoch vernetzt z. B. Verwandschaft

27. ABFRAGEN

28. ABFRAGEN Kein SQL Abfragetechnik MapReduce View: map- und reduce-Funktion Umdenken nötig, dafür skalierbar SQL SELECT * FROM …

29. ABFRAGEN Kein SQL Abfragetechnik MapReduce View: map- und reduce-Funktion Umdenken nötig, dafür skalierbar 1 map reduce Ergebnis 2 3

30. ABFRAGEN View Kein SQL Abfragetechnik MapReduce View: map- und reduce-Funktion Umdenken nötig, dafür skalierbar map reduce

31. ABFRAGEN Kein SQL Abfragetechnik MapReduce View: map- und reduce-Funktion Umdenken nötig, dafür skalierbar t n

32. REPLICATION Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3

33. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 X.1

34. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 Replikation X.1 X.1

35. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 X.2 X.1

36. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 X.2 X.3

37. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 Replikation X.3 X.2 X.2

38. REPLICATION A B Ziel: Zwei Datenbanken haben die gleichen Dokumente Repliziere von A nach B Ändere X in A zu X.2 Ändere X in B zu X.3 Repliziere von A nach B Lösche Konflikt X.3 X.2 X.2

39. Anwendungsfall: Virtuelle Pinnwand Quelle: Bruce Allmächtig

41. ? ? Schema http://url Text texttexttexttext … Skizze…

42. Replikation Laptop Server

43. Martin Junghanns sones GmbH R&D Eugen-Richter-Straße 44 99085 Erfurt martin@sones.de 13.05.2011 sones GraphDB

44. Netzwerke Welt besteht aus Objekten,die miteinander in Verbindung stehen Politik, Wirtschaft, Wissenschaft Körper, Interaktionen Hardware, Software Familie, Freunde, Kollegen Komplexe Zusammenhänge, ständiger Wandel Umfangreiche Datenmengen Photo: Jeffrey Beall, flickr

45. Graph= (Knoten,Kanten) Graphdatenbanken Knoten ID : 2 ID : 1 Kante Photo: Jeffrey Beall, flickr

46. Property Graph Benutzerdefinierte Eigenschaften Knoten-Properties Kanten-Properties Knoten ID : 2 Name : Bob Alter : 23 ID : 1 Name : Alice Alter : 21 Freund_von seit : 2009/09/21 Kante Photo: Jeffrey Beall, flickr

47. Property Graph Benutzerdefinierte Eigenschaften Knoten-Properties Kanten-Properties Knoten ID : 2 Name : Bob Alter : 23 ID : 1 Name : Alice Alter : 21 Freund_von seit : 2009/09/21 Kante Photo: Jeffrey Beall, flickr

48. Property Graph Beziehungen durch Kantentypen ID : 2 Name : Bob Alter : 23 ID : 1 Name : Alice Alter : 21 Freund_von seit : 2009/09/21 verwandt_mit Grad: Mutter / Tochter ID : 3 Name : Eve Alter : 42 Photo: Jeffrey Beall, flickr

49. 13.05.2011 Property Graph Entitäten durch Knotentypen Person Person ID : 2 Name : Bob Alter : 23 ID : 1 Name : Alice Alter : 21 Freund_von seit : 2009/09/21 wohnt_in verwandt_mit Grad: Mutter / Tochter ID : 3 Name : Eve Alter : 42 Person ID : 4 Name : Jena Land : D EW : 100K Ort Photo: Jeffrey Beall, flickr

50. Property Graph ID : 23 Typ : Uni Name : TU Ilmenau ID : 12 Typ : Uni Name : BA Gera ID : 3 Typ : Person Name : Carol Age : 18 studiert an seit : 2001 kommuniziert mit studiert an Studiert an verwandt mit seit : 2005 seit : 2004 Encrypted : true Method : AES Grad : Sister ID : 0 Typ : Person Name: Alice Age : 23 ID : 1 Typ : Person Name : Bob Age : 42 kommuniziert mit Encrypted : true Method : RSA Photo: Chuck “Caveman” Coker, flickr

51. Einfache Verwaltung strukturierter, semi-strukturierter, unstrukturierter Daten Photo: litlnemo, flickr

52. Konstante Performanz auch bei steigender Datenmenge durch indexfreie Adjazenz Photo: Google Search

53. Einfache Verwaltung (rekursiv) vernetzter Daten Photo: Robbert van der Steeg, flickr

54. Entdecken und Empfehlen potentiell interessanter Zusammenhänge Photo: Jeffrey Beall, flickr

55. Datensicherheit durch Verschlüsselung, Replikation und Versionierung Photo: squacco, flickr

56. Anwendungen eGovernment Social Network– zentrale Kommunikationsplattform in der Verwaltung Universal Data Access – Daten zentral verwalten, Daten aus diversen Quellen verknüpfen Recommendation– Bewertung von Personen, Projekten, Bauflächen, Wohnräumen, … Photo: Facebook World Graph

57. Anwendungen eGovernment Automatische Kategorisierung – um die Übereinstimmung von z.B. Jobanzeigen und Bewerbern zu erhöhen und eine branchenübergreifende Empfehlung zu ermöglichen Verkehrsplanung(GIS)– Planung von Straßen anhand der Auslastung bestehender Verkehrsnetze ... Photo: Google Maps Leipzig

58. Let‘s go to work @ http://localhost:8080/webshell Photo: outnow.ch

59. CREATE VERTEX UserProfile ATTRIBUTES ( String Nachname, Integer Alter, Set<UserProfile> Freunde )

60. INSERT INTO UserProfile VALUES ( Nachname= „Mueller“, Alter = 23 )

61. INSERT INTO UserProfile VALUES ( Nachname= „Schmidt“, Vorname = „Peter“, Alter = 42, Freunde = SETOF(Nachname=„Mueller“) )

62. FROM UserProfile SELECT *

63. ALTER VERTEX UserProfile ADD ATTRIBUTES ( String Wohnort ) ALTER VERTEX UserProfile MANDATORY ( Wohnort ) FROM UserProfile SELECT *

64. INSERT INTO UserProfile VALUES ( Nachname = „Schulze“, Alter = 37 )

65. martin@sones.de Vielen Dank OlivoSkawronek IBYKUSAG Oliver.Skawronek@ibykus.de Erfurt Tilmann Soeffing SenovaGmbH T.Soeffing@senova.de Weimar Martin Junghanns sones GmbH R&D martin@sones.de Leipzig