1. Gegevensbanken 2010 Fundamenten van geheugen; Bestandsorganisatie; Hashing Prof. Bettina Berendt www.cs.kuleuven.be/~berendt

2. Fundamenten van geheugen; Bestandsorganisatie; Hashing: Motivatie & Samenvatting

3. Waar zijn wij? Conceptueel model Relationeel model Fysisch model / vragen Nieuwe thema‘s / vooruitblik Les Nr. wie wat 1 ED intro, ER 2 ED EER 3 ED relational model 4 ED mapping EER2relational 5 KV relational algebra, relational calculus 6 KV SQL 7 KV vervolg SQL 8 KV demo Access, QBE, JDBC 9 KV functional dependencies and normalisation 10 KV functional dependencies and normalisation 11 BB file structures and hashing 12 BB indexing I 13 BB indexing II and higher-dimensional structures 14 BB query processing 15 BB transaction 16 BB query security 17 BB Data warehousing and mining 18 ED XML, oodb, multimedia db

4. Gegevens zijn als een lekkere maaltijd… Is het wat ik wil? Was het goed klaargemaakt? Gaat het snel? Conceptueel model Relationeel model Fysisch model / vragen

5. A. Ruimtelijke organisatie is belangrijk, of: We kunnen niet aan de fysica ontsnappen

6. A. Ruimtelijke organisatie is belangrijk, of: We kunnen niet aan de fysica ontsnappen

7. B. Wat nodig is, is afhankelijk van wat je ermee wilt doen genieten ? afslanken ? Elke keuze heeft voor- en nadelen

8. B. Wat nodig is, is afhankelijk van wat je ermee wilt doen veel veranderen ? veel zoeken ? Elke keuze heeft voor- en nadelen

10. C. Wat doen als de keuken te klein is?

11. C. Wat doen als de keuken te klein is? * Het brood ligt in de slaapkamer * De eieren liggen in de eetkamer

12. C. Wat doen als de keuken te klein is? Het brood ligt in de slaapkamer * De eieren liggen in de eetkamer

13. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

14. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

15. Geheugenhi ë rarchie ë n ook ge-heugen niveau kost volati-liteit snel-heid capa-citeit Wat gebeurt hier? Primair Cache memory / static RAM Verwerking Hoofdgeheugen / dynamic RAM Flash memory Secun-dair Magnetische schijven Opslag Tertiair Optisch (CD, DVD) Magnetische banden

18. Schijf, cilinder, spoor schijven-pakket

19. Blok : onderdeel van een spoor (“track“) gefixeerd tijdens initialisatie Spoor : gefixeerd in de hardware Spoor en blok

20. Hoe een gege-ven vinden? 1. Cilinder 3. Blok 2. Spoor

25. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

27. Formaat: voor-beelden

29. Records in blokken plaatsen (2)

33. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

39. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

40. Ongeordende bestanden: idee

43. Geordende bestanden: idee

45. Geordende bestanden: voorbeeld

47. Zoeken

49. Directe bestanden: idee De rode? De rode!

52. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

53. Hashing: idee

55. Interne hashing: gegevensorganisatie

58. Botsing

60. Overloopafhandeling (1) Open adressering: idee Open addressing: Hash collision resolved by linear probing (interval=1). Hash collision resolved by open addressing with linear probing (interval=1). Note that "Ted Baker" has a unique hash, but nevertheless collided with "Sandra Dee" which had previously collided with "John Smith". 151 152 153 254 255

62. Open adressering (strings): toevoegen {sleutel k = string van N tekens; #adresruimte = M} {hashfunctie} temp := 1; voor i := 1 tot N : temp := temp * code(k[i]); a := temp mod M; {botsingsafhandeling} als locatie a vol is dan i := (a + 1) mod M; zolang i <> a en locatie i bezet : i := (i+1) mod M; als i = a dan mislukt {alle locaties zijn vol} anders a := i; {record kan op locatie a gezet worden}

64. Botsingafhandeling door ketening

65. Botsingafhandeling door ketening (direct chaining)

70. Externe hashing (gegevens in bestand): idee

72. Botsingsafhandeling

78. Dynamische hashing: zoeken via een trie h := hashwaarde van record; t := topknoop van trie; i := 1; zolang t geen blad is: als de i-de bit van h een 1 is dan t := linkerkind anders t := rechterkind; i := i+1 zoek in de cel waarvan het adres in t zit

79. Uitbreidbare hashing: idee * als bruin: bucket 1 * als groen: bucket 2 * als bruin EN eieren: bucket 1 * als bruin EN brood: bucket 2 * als groen: bucket 3

80. Uitbreidbare hashing: schema

81. Uitbreidbare hashing: voorbeeld (1) Bron: Hakan (2009). File Organization. http://www.powershow.com/view/27b55-YzBlN/File_Organization

82. Uitbreidbare hashing: voorbeeld (2)

83. Uitbreidbare hashing: voorbeeld (3)

84. Uitbreidbare hashing: voorbeeld (4)

85. Uitbreidbare hashing: voorbeeld (5)

86. Uitbreidbare hashing: voorbeeld (6)

87. Uitbreidbare hashing: voorbeeld (7)

88. Uitbreidbare hashing: voorbeeld (8)

89. Uitbreidbare hashing: voorbeeld (9)

90. Uitbreidbare hashing: voorbeeld (10)

91. Uitbreidbare hashing: voorbeeld (11)

92. Uitbreidbare hashing: voorbeeld (12)

99. 0 1 2 3 4 n=1 load factor: 7/10=0.7 no split insert(5) 8 1 5 2 14 3 4 0 1 2 3 4 Lineaire hashing: voorbeeld (3) 8 1 2 14 3 4

100. 0 1 2 3 4 n=1 load factor: 8/10=0.8 split using h 1 . insert(10) 8 1 5 2 14 3 4 10 overflow Lineaire hashing: voorbeeld (4) 8 1 5 2 14 3 4

101. 0 1 2 3 4 5 8 1 2 14 3 4 n=2 load factor: 8/12=0.66 no split 10 overflow 5 Lineaire hashing: voorbeeld (5)

102. n=2 load factor: 9/12=0.75 split using h 1 . 8 1 2 14 3 4 10 overflow 5 0 1 2 3 4 5 8 1 2 14 3 7 4 10 overflow 5 Lineaire hashing: voorbeeld (6) insert(7)

103. n=3 load factor: 9/14=0.642 no split. 8 1 2 10 3 7 4 5 14 Lineaire hashing: voorbeeld (7) 8 1 2 10 3 7 4 5 14 insert(24)

104. n=3 load factor: 10/14=0.71 split using h 1 . 8 24 1 2 10 3 7 4 5 14 8 24 1 2 10 3 4 5 14 7 Lineaire hashing: voorbeeld (8)

105. Lineaire hashing: zoeken als n=0 dan m := h0(k) anders m := h0(k); als m<n dan m := h1(k); zoek in de cel met hashwaarde m (en evt. in de overloop ervan)

106. Agenda Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, …

108. RAID: Data striping

109. Geen duplicatie Volledige duplicatie Gebruik van Hamming codes, vermindert plaats vereist voor redundante schijven Gebruik van een pariteitsschijf om uit te zoeken welke schijf faalde Data striping op blok niveau Data striping op blok niveau, met verdeling van de pariteitsinformatie over alle schijven Gebruik van speciaal redundantiesche-ma dat twee falingen kan detecteren RAID: niveaus

110. Trends in disk technology

111. Disk specifications: example

112. Disk specifications: example (contd. 1)

113. Disk specifications: example (contd. 2)

115. Vooruitblijk Geheugens Bestandsorganisatie: blokken en records Toegang tot en bewerkingen op bestanden Soorten bestanden Hashing Slotbemerkingen: nieuwe ontwikkelingen, … Indexstructuren