Este documento discute como algoritmos de consulta aproximada podem ser usados para analisar grandes volumes de dados com margens de erro aceitáveis, ao invés de buscas exatas que levam muito tempo. A amostragem aleatória é explicada como uma técnica para estimar métricas como contagens, somas e médias a partir de uma pequena amostra dos dados.

1. Você não precisa estar
100% certo
o tempo todo!
Algoritmos para consultar terabytes
de dados
Fabiane Bizinella Nardon
TailTarget
@fabianenardon

2. SUAS RESPOSTAS DEVEM ESTAR
SEMPRE CERTAS

3. ÀS VEZES 100% CERTAS

4. ÀS VEZES 98% CERTAS

5. 2 Bilhões de tuplas / 71min 31 Milhões de tuplas / 3 seg
Fonte: http://highscalability.com/blog/2016/2/25/when-should-approximate-query-processing-be-used.html

6. QUAL O TAMANHO DA AMOSTRA
QUE EU PRECISO?

7. DEPENDE DE QUANTO VOCÊ
ACEITA ERRAR

8. MARGEM DE ERRO:
INTERVALO NO QUAL ESPERO
ENCONTRAR O DADO QUE
QUERO MEDIR.

9. EXEMPLO:
NÚMERO DE MULHERES NA INTERNET
COM 5% DE MARGEM DE ERRO.
SE O NÚMERO ESTIMADO É DE 100
MILHÕES, ESPERO QUE O NÚMERO
REAL ESTEJA ENTRE 100 MILHÕES
+/- 5%

10. NÍVEL DE CONFIANÇA:
CERTEZA QUE O DADO QUE
BUSCAMOS ESTÁ DENTRO DA
MARGEM DE ERRO

11. EXEMPLO:
95% DE FATOR DE CERTEZA
SIGNIFICA QUE EM 95% DOS
CASOS, O NÚMERO DE MULHERES
ESTARÁ DENTRO DE 100 MILHÕES
+/- 5%

12. MARGEM
DE ERRO
NÍVEL DE
CONFIANÇA
TAMANHO
DA AMOSTRA

13. MARGEM
DE ERRO NÍVEL DE
CONFIANÇA
TAMANHO
DA AMOSTRA

14. MARGEM
DE ERRO
NÍVEL DE
CONFIANÇA
TAMANHO
DA AMOSTRA

15. n = (z * stddev /mde)2
n = tamanho da amostra
stddev = desvio padrão da população
mde = margem de erro
z = Z-score

16. nreal = (n * p) / (n + p – 1)
n = tamanho da amostra
nreal= tamanho real da amostra
P = tamanho da população

17. n = (z * stddev /mde)2
Z-Score:
90% = 1.645
95% = 1.96
99% = 2.576

18. n = (z * stddev /mde)2
n = (2.576 * 0.5 / 0.01)2
n = 16.590
n = tamanho da amostra
stddev = desvio padrão da população
mde = margem de erro
z = Z-score

19. nreal = (n * p) / (n + p – 1)
nreal = (16590 * 100000) / (16590 +
100000 -1)
nreal = 14.229
n = tamanho da amostra
nreal= tamanho real da amostra
P = tamanho da população

20. P = 100.000 -> nreal = 14.229
P = 200.000 -> nreal = 15.317
P = 400.000 -> nreal = 15.927
P = 1.000.000 -> nreal = 16.317
P = 10.000.000 -> nreal = 16.560
P = 200.000.000 -> nreal = 16.586
P = 400.000.000 -> nreal = 16.587
P = 1.000.000.000 -> nreal = 16.587

21. POPULAÇÃO: 488.333.067
PROPORÇÃO POR GÊNERO:
AMOSTRA: 32.000
M: 156.556.529 (32.05%)
H: 95.148.646 (19.48%)
AMOSTRA: 16.000
M: 158.036.788 (32.36%)
H: 96.018.489 (19.66%)

22. COMO ESCOLHER OS ITENS DA
AMOSTRA

23. SAMPLING WITH REPLACEMENT:
ESCOLHE UM ITEM ALEATÓRIO
SUCESSIVAMENTE. MESMO ITEM
PODE APARECER MAIS DE UMA VEZ

24. SAMPLING WITHOUT
REPLACEMENT:
ESCOLHE UM ITEM ALEATÓRIO E
GARANTE QUE ELE SÓ APARECE
UMA VEZ NA AMOSTRA.

25. Random Sampling:
Escolhe amostras aleatórias,
todas com o mesmo peso

26. Stratified Sampling:
Divide a população em stratas
e faz uma amostra de cada
strata separadamente

27. AMOSTRA RANDÔMICA

28. PARA CADA GRUPO AMOSTRAL, GUARDE:
TAMANHO DA AMOSTRA
TAMANHO REAL
IDENTIFICADOR DO GRUPO AMOSTRAL

29. EXTRAINDO AMOSTRAS DA
BASE DE DADOS

30. ESTRATÉGIA 1: GRAVE NÚMERO
RANDÔMICO INDEXADO NO
BANCO DE DADOS
{
"_id": 1,
"gender": "f",
"age": 24,
"selector": 0.12412423
}
* MongoDB

31. int selector = 0;
int sampleCount = 0;
List<User> sample = new ArrayList<>();
double prevSelector = -1;
while (sampleCount < SAMPLE_SIZE) {
/* Add to sample result of
db.Users.find({
selector: {
$gt: prevSelector}
}
).limit(100);
Set last selector found to prevSelector
*/
sampleCount += sample.size();
}

32. ESTRATÉGIA 2: USE
MECANISMO DE SAMPLING DO
SEU BD

33. {
"aggregations": {
"sample": {
"sampler": {
"shard_size": 16000
},
"aggregations": {
"views": {
"terms": {
"field": "gender“
},
"aggregations": {
"unique_users": {
"cardinality": {
"field": "uid"
}
}
}
}
}
}
}
} * ElasticSearch

34. ESTRATÉGIA 3: USANDO
SHARDING

35. SHARDING 1 SHARDING 2 SHARDING 3
ITEMS POR SHARDING = TAMANHO DA AMOSTRA / NÚMERO DE SHARDINGS
RANDOMKEYs RANDOMKEYs RANDOMKEYs
* Redis

36. PARA CADA GRUPO AMOSTRAL, GUARDE:
TAMANHO DA AMOSTRA
TAMANHO REAL
IDENTIFICADOR DO GRUPO AMOSTRAL

37. Ta = Tamanho da Amostra
Tp = Tamanho da População
Na = Número de Itens na Amostra
Np = Número de Itens na população
Np = Na * Tp / Ta
Exemplo:
Ta = 1000
Tp = 100.000
Na = 400 Mulheres
Np = 400 * 100.000 / 1000 = 40.000

38. NÃO SEI O TAMANHO DA
POPULAÇÃO.
E AGORA?

39. RESERVOIR SAMPLING

40. 1 2 3 4 5
A B C D E
F
Random (0..1): 0.7
K = Ta / i
K = 5 / 6 = 0.83
Se K > Random => TROCA!

41. RESERVOIR SAMPLING
DISTRIBUÍDO

42. 1 2 3 4 5
A B C D E F G H I J K L M N O P Q R S T U V X Y W Z

43. 1 2 3 4 5
A B C D E F G H I J K L M N O P Q R S T U V X Y W Z

44. 1 2 3 4 5
A:0.1 B:0.3 C:0.2 D:0.7 E:0.9 F:0.11
G:0.4 H:0.6 I:0.76
J:0.8 K:0.2 L:0.54 M:0.4 N:0.21 O:0.33
P:0.56 Q:0.32 R:0.23
S:0.21 T:0.32 U:0.22 V:0.7 X:0.12
Y:0.23 W:0.3 Z:0.76
private SortedMap<Double, MyObject> reservoir;
...
if (reservoir.size() < SAMPLE_SIZE) {
reservoir.put(score, myObject);
} else if (score > reservoir.firstKey()) {
reservoir.remove(reservoir.firstKey());
reservoir.put(score, myObject);
}

45. O L P I Z
1 2 3 4 5
A:0.1 B:0.3 C:0.2 D:0.7 E:0.9 F:0.11
G:0.4 H:0.6 I:0.76
J:0.8 K:0.2 L:0.54 M:0.4 N:0.21 O:0.33
P:0.56 Q:0.32 R:0.23
S:0.21 T:0.32 U:0.22 V:0.7 X:0.12
Y:0.23 W:0.3 Z:0.76
H:0.6 D:0.7 E:0.9 F:0.11 I:0.76 R:0.23 Q:0.32 O:0.33 L:0.54 P:0.56 S:0.21 U:0.22 Y:0.23 T:0.32 Z:0.76
COMBINER

46. import org.apache.crunch.lib.Sample;
Sample.reservoirSample(PCollection<T> input, int sampleSize)
Apache Crunch:

47. CONSULTAS APROXIMADAS
AGREGAÇÕES
PROPORÇÕES

48. COUNT
Np = Na * Tp / Ta
400 * 100.000 / 1000
=
40.000

49. SUM
Sp = Sa * Tp / Ta
600 * 100.000 / 1000
=
60.000

50. AVERAGE
Ap = (Sa * Tp / Ta) / (Na * Tp / Ta)
(600 * 100.000 / 1000)
/
(400 * 100.000 / 1000)
=
1.5

51. Você não precisa estar
100% certo
o tempo todo!
Algoritmos em Java para consultar
terabytes de dados
Fabiane Bizinella Nardon
TailTarget
@fabianenardon