Este documento discute estruturas de dados probabilísticas que fornecem funcionalidades como membership test, cardinality estimation e frequency estimation usando pouca memória e tempo de acesso constante. Essas estruturas incluem Linear Probabilistic Counters, Bloom Filters, LogLog Counters e Count-min Sketches.

1. EstruturasdeDadosprobabilísticas
Vocênãoprecisasabertudo
DiegoRocha

2. @kiwi

3. @kiwi-Desafios
100M+deeventos/dia
Temporeal Baixocusto
Abordagemconvencional

5. (Notso)olddog,
newtricks

6. Estruturasdedados
probabilísticas

7. Estruturasdedados
probabilísticas
Precisamdepoucamemória

8. Estruturasdedados
probabilísticas
Precisamdepoucamemória
Tempodeacessoéconstante

9. Estruturasdedados
probabilísticas
Precisamdepoucamemória
Tempodeacessoéconstante
Completamentecool

10. - membershiptest
- Códigopromocionaljáfoiutilizado?
- Usuáriojárealizouumaação?
- Cardinalityestimation
- Quantaspessoasdiferentesjáassistiramaumvídeo?
- Frequencyestimation
- Quaissãoastagsmaisutilizadasemcomentários?
Paraqueserve?

11. Quantaspessoasdiferentes queleramanotíciaprincipal publicaram
comentárioscom atagmaisfrequente?
Getcrazy!
Cardinalityestimation
Membershiptest
Frequencyestimation

12. LinearProbabilisticCounter

13. LinearProbabilisticCounter
BloomFilter

14. LinearProbabilisticCounter
BloomFilter
Count-minsketch

15. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

16. Vamosreveralgunsconceitos
- Bitset
- Funçãohash
Antesdemaisnada...

17. Sequênciadebits,cadaumcomsuaposição
Bitset

18. Sequênciadebits,cadaumcomsuaposição
Bitset
0 1 0 0 1 0 1 0 1 1 0 0
0 1 2 3 4 5 6 7 8 9 10 11

19. Bitset
0 1 0 0 1 0 0 1 1 1 0 1OR =
0 1 1 0 0 1 0 1 0 1 0 0AND =
0 1 0 0 0 1 1 0 0 0 1 0XOR =

20. Funçãodeterminística,sobrejetora,comdomíniodetamanho
arbitrárioecontradomíniofinito
Funçãohash

21. Funçãodeterminística,sobrejetora,comdomíniodetamanho
arbitrárioecontradomíniofinito
Funçãohash
Waat?

22. Funçãohash
João
Renato
Teresa
Denise
Fábio
4
15
8
23
16
...
42Eli
Luana
Hash

23. Funçãohash
João
Renato
Teresa
Denise
Fábio
4
15
8
23
16
...
42Eli
Luana
Hash
Colisão!!

24. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

25. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

26. LinearProbabilisticCounter
Estruturadedadosquepermiterealizar:
- membershiptest
- cardinalityestimation

27. LinearProbabilisticCounter
Bitsetdetamanhom,comtodasasposiçõesinicialmentezeradas
0 0 0 0 0 0 0 0 0 0 0 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12

28. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 0 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Adicionamos“joão”
hash(João)=>3

29. hash(João)=>3
LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Adicionamos“Teresa”
hash(Teresa)=>10

30. hash(João)=>3
LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Adicionamos“Renato”
hash(Teresa)=>10hash(Renato)=>3

31. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Membershiptest:“Luanajáfoiinserida?”
hash(Luana)=>7

32. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Membershiptest:“Luanajáfoiinserida?”
hash(Luana)=>7
Nops

33. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Membershiptest:“Elijáfoiinserido?”
hash(Eli)=>10

34. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Membershiptest:“Elijáfoiinserido?”
hash(Eli)=>10
Talvez

35. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Membershiptest:“Elijáfoiinserido?”
hash(Eli)=>10
Talvez
FalsosPositivossãopossíveis
Taxadeerroédefinidapelataxadecolisão

36. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12
Cardinalityestimation:“Quantosnomesdiferentesforam
inseridos?”

37. LinearProbabilisticCounter
0 0 0 1 0 0 0 0 0 0 1 0
0 1 2 3 4 5 6 7 8 9 10 11
m(tamanhodobitset)=12
Cardinalityestimation:“Quantosnomesdiferentesforam
inseridos?”
card(m, w) = -m ln m - w
m
w(nºdebits1)=2

38. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

39. Bloomfilter
Estruturadedadosmuitoparecidacomolinearprobabilistic
counterquepermiterealizarMembershiptest
0 0 0 0 0 0 0 0 0 0 0 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3

40. Bloomfilter
Cadainserçãomarca kbits,aoinvésdeumúnico
0 0 0 0 0 0 0 0 0 0 0 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3

41. Bloomfilter
Cadainserçãomarcakbits,aoinvésdeumúnico
0 0 0 1 0 1 1 0 0 0 0 0
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(João)=>[3,5,6]

42. Bloomfilter
Cadainserçãomarcakbits,aoinvésdeumúnico
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Renato)=>[5,10,11]

43. Bloomfilter
MEmbershiptest:“Luizjáfoiinserido?”
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Luiz)=>[3,4,6]

44. Bloomfilter
MEmbershiptest:“Luizjáfoiinserido?”
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Luiz)=>[3,4,6]
Nah

45. Bloomfilter
MEmbershiptest:“Luanajáfoiinserida?”
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Luana)=>[6,10,11]

46. Bloomfilter
MEmbershiptest:“Luanajáfoiinserida?”
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Luana)=>[6,10,11]
Provavelmente

47. Bloomfilter
MEmbershiptest:“Luanajáfoiinserida?”
0 0 0 1 0 1 1 0 0 0 1 1
0 1 2 3 4 5 6 7 8 9 10 11
m=12;k=3
hash(Luana)=>[6,10,11]
Provavelmente
Tambémpodeapresentarfalsopositivos,
masgeralmentesãomaisraros

48. LinearProbabilisticCounterssãoBloomFilterscomk=1

49. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

50. Count-minsketch
Estruturadedadosutilizadapararealizarfrequencyestimation

51. Count-minsketch
Começamoscomumamatrizmxndeinteiros
0 0 0 0
0 0 0 0
0 0 0 0
0 0 0 0

52. Count-minsketch
Paracadaelementoobservado,incrementamosnposições
0 0 1 0
0 0 0 1
1 0 0 0
0 1 0 0
hash(João)=>[2,0,1,3]

53. Count-minsketch
Paracadaelementoobservado,incrementamosnposições
1 0 2 0
0 0 0 1
1 1 0 1
0 1 0 0
hash(Eli)=>[1,2,1,2]

54. Count-minsketch
Eventualmente...
11 0 2 5
7 6 4 5
4 6 15 13
9 19 10 8

55. Count-minsketch
…obtemosumaestimativadafrequênciadeumelemento,
observandoamenorcontagemparaaqueleelemento
hash(João)=>[2,0,1,3]
11 0 2 5
7 6 4 5
4 6 15 13
9 19 10 8

56. Count-minsketch
Aestimativasempreserámaiorouigualàfrequênciareal
11 0 2 5
7 6 4 5
4 6 15 13
9 19 10 8
hash(João)=>[2,0,1,3]

57. Count-minsketch
Aestimativasempreserámaiorouigualàfrequênciareal
11 0 2 5
7 6 4 5
4 6 15 13
9 19 10 8
hash(João)=>[2,0,1,3]
Tendeasermelhor
quandoalguns
elementossãomuito
maisfrequentesque
outros

58. LinearProbabilisticCounter
BloomFilter
LogLogCounter
Count-minsketch

59. LogLogCounter
Fornececardinalityestimationutilizandomuuuuitopouca
memóriaecomboaprecisãoparaconjuntoscommuitoselementos

60. LogLogCounter
BAseia-senaideiadeque,sabendoqualfoioelementomaisraro
encontrado,épossívelobterumaestimativadequantoselementos
foramvistos

61. LogLogCounter
Rank(X)-“raridadedoelemento”

62. LogLogCounter
Rank(X)-“raridadedoelemento”
Rankdebinários
11111111
11111110
...
01111111
...
00111111
...
00000001
1
2
3
8
Raridadedefinidapelonúmerozerosiniciais
n/(2^K)elementoscomeçandocomk-1zeros

63. LogLogCounter
Estimativainstável:
card(k) = 2^k
k = maior rank encontrado

64. LogLogCounter
Estimativainstável:
card(k) = 2^k
k = maior rank encontrado
Podemosobterumaestimativaprecisarealizandoumamédiaentrevárias
estimativasinstáveis

65. LogLogCounter
Buckets
Cadabucketarmazenaomaiorrank
observadodentrodeumconjuntode
valores
0
0
0
0
0
0
1
2
3
4

66. LogLogCounter
0
2
0
0
0
0
1
2
3
4
hash(João)=>3
Rank(João)=>2

67. LogLogCounter
4
2
0
0
0
0
1
2
3
4
hash(Luana)=>1
Rank(Luana)=>4

68. LogLogCounter
4
2
0
0
0
0
1
2
3
4
hash(Eli)=>3
Rank(eli)=>1

69. LogLogCounter
Estimativaprecisa:
card(m, buckets) = αm.m.2^(∑buckets[j] / m)
m = número de buckets
αm =
j
Γ(−1/m) 1−2 -m
log 2
1/m
( ) ~~ 0.39701

70. LogLogCounter
Estimativaprecisa:
card(m, buckets) = αm.m.2^(∑buckets[j] / m)
m = número de buckets
αm =
j
Γ(−1/m) 1−2 -m
log 2
1/m
( ) ~~ 0.39701
Crazymathtotallyworthit

71. Outrasestruturasdedados
Streamsummary
dezenasdevariaçõesdebloomfilter
Count-mean-minsketch
HyperLogLogCounter

72. Referências
- LoglogCountingofLargeCardinalities-MarianneDurand,PhilippeFlajolet2003
- Space/timetrade-offsinhashcodingwithallowableerrors-BurtonH.Bloom1970
- ALinear-TimeProbabilisticCountingAlgorithmforDatabaseApplications -KYU-
YOUNGWHANG,HOWARDM.TAYLOR1990
- Count-MinSketch-GrahamCormode2003
- PROBABILISTICDATASTRUCTURESFORWEBANALYTICSANDDATAMINING(https:
//highlyscalable.wordpress.com/2012/05/01/probabilistic-structures-web-analytics-
data-mining/)-IlyaKatsov

73. perguntas?