Apresentação feita no MongoSP, 28 Julho 2012.
A mineração de dados sobre blogs é uma tarefa difícil devido ao seu grande volume da dados. O MongoDB é uma ótima solução para distribuir os dados em shards, dentro de um cluster de computadores, e analisar as informações com tarefas MapReduce sobre 30 milhões de postagens coletadas de usuários Brasileiros.
37. TF-IDF
TF: Frequência do Termo
|t|
tf(t,d) =
|T|
IDF: Frequência inversa nos documentos
|D|
idf(t,D) = log
|{d ∈ D : t ∈ d}|
tf x idf (t,d,D) = tf(t,d) x idf(t,D)
38. TF-IDF
Lorem ipsum dolor sit amet, consectetur
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat.
Duis aute irure dolor in reprehenderit in
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
39. TF-IDF
Lorem ipsum dolor sit amet, consectetur
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat.
Duis aute irure dolor in reprehenderit in
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
40. TF-IDF
N = 70, D = 100
Lorem ipsum dolor sit amet, consectetur
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat.
Duis aute irure dolor in reprehenderit in
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
41. TF-IDF
N = 70, D = 100
Lorem ipsum dolor sit amet, consectetur
tf(magma,d) = 2/70
idf(magma,D) = 100/4
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat.
Duis aute irure dolor in reprehenderit in
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
42. TF-IDF
N = 70, D = 100
Lorem ipsum dolor sit amet, consectetur
tf(magma,d) = 2/70
idf(magma,D) = 100/4
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
tf-idf(magna,d,D) = 0,09
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat.
Duis aute irure dolor in reprehenderit in
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
43. TF-IDF
N = 70, D = 100
Lorem ipsum dolor sit amet, consectetur
tf(magma,d) = 2/70
idf(magma,D) = 100/4
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
tf-idf(magna,d,D) = 0,09
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat. tf(in,d) = 3/70
Duis aute irure dolor in reprehenderit in idf(in,D) = 100/65
voluptate velit esse cillum dolore eu fugiat
nulla pariatur.
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
44. TF-IDF
N = 70, D = 100
Lorem ipsum dolor sit amet, consectetur
tf(magma,d) = 2/70
idf(magma,D) = 100/4
adipisicing elit, sed do eiusmod tempor
incididunt ut labore et dolore magna aliqua.
tf-idf(magna,d,D) = 0,09
Ut enim ad minim veniam, quis nostrud
exercitation ullamco laboris nisi ut aliquip ex
ea commodo consequat. tf(in,d) = 3/70
Duis aute irure dolor in reprehenderit in idf(in,D) = 100/65
voluptate velit esse cillum dolore eu fugiat
nulla pariatur. tf-idf(in,d,D) = 0,01
Excepteur sint magna occaecat cupidatat non
proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.
45. TF-IDF Map/Reduce
Valores necessários:
n: Ocorrências de p em uma tag ( Tarefa 1 )
N: Nº palavras em uma tag ( Tarefa 2 )
d: Nº de tags que p aparece ( Tarefa 3 )
D: Total de tags ( Tarefa 2 )
46. TF-IDF Tarefa 1
Entrada MAP Reduce
Posts
{ tags, conteúdo }
{ tag , palavra } , 1
somatório da palavra para a tag
{ tag , palavra } , n
56. TF-IDF Resultado
Saúde Política Futebol
saúde deputado gols
água presidente time
doenças governo futebol
pele contra equipe
corpo Dilma gol
sintomas ministro jogador
animais Ministério Copa
alimentos Estado contra
crianças política rodada
células Câmara partida
... ... ...