Computação por Humanos na Perspectiva do
Engajamento e Credibilidade de Seres Humanos e
da Replicação de Tarefas
Lesandro ...
Computação
● ‘Processo de mapear
entrada em saída usando
um conjunto finito de
instruções’
Entrada
Instruções
Saída
… por ...
… mas ainda existem
tarefas que os seres
humanos são capazes
de executar de forma
mais eficiente e eficaz
No início,
‘comp...
HumanosMáquinas
Cálculos
matemáticos
Compreensão de
conteúdos em
imagens
Compreensão
de linguagem
natural
4
Simulações
em ...
Verifique se a imagem abaixo retrata um pôr-do-sol e
marque a resposta mais adequada:
Sim, a imagem retrata um
pôr-do-sol
...
Aplicação Distribuída
...
6
Sim
Não
Sistema Distribuído
Internet
Trabalhadores
Usuários
zooniverse.org
mturk.com
crowdflower.com
7
Funcionamento e Desempenho
8
Problema
Internet
?
9
Há pouco conhecimento sobre as características de
oferta de poder cognitivo e de como o sistema pode...
Uma Questão de Otimização
Redundância para tolerar falhas ou detectar consenso
10
Tarefa
1
B
B
BA
3
1
2
Redundância
de exe...
Abordagem Proposta
Engajamento: Padrões com que os trabalhadores
disponibilizam poder cognitivo no sistema
Credibilidade: ...
Arcabouço sobre Engajamento
Avaliação
● Subjetiva/Qualitativa
● Objetiva/Quantitativa
Ponto de
Engajamento
Ponto de
Deseng...
Métricas de Engajamento
Baseadas em dados da atuação dos trabalhadores no projeto
Tempo que o trabalhador pode permanecer ...
Tempo Dedicado Diariamente
Média do tempo dedicado nos dias ativos
Tempo que o trabalhador pode permanecer no projeto
Temp...
Taxa de Atividade
Razão entre o número de dias ativos e o número de dias em
que o trabalhador permaneceu no projeto
Tempo ...
Variação na Periodicidade
Desvio padrão do tempo decorrido entre dias ativos
Início do
projeto
Primeiro dia
ativo
Tempo de...
Duração Relativa da Atividade
Razão entre o número de dias em que o trabalhador
permaneceu no projeto e o tempo potencial ...
Análise em 5 Bases de Dados
Análise de
Sentimentos
Cell
Spotting
Galaxy
Zoo
Sun4All
The Milky
Way Project
Duração (dias) 1...
Primeiro
dia ativo = Último
dia ativo
Tempo
Primeiro
dia ativo
Último
dia ativo
Tempo
...
Transientes
Regulares
Importante...
Distribuições do Engajamento
20
Semelhanças entre projetos
Diferenças entre métricas
Perfis de Engajamento
Galaxy Zoo Cell Spotting
The Milky Way Project Sun4All
21
Importância
Tempo dedicado
Persistente (41%)
Persistente (40%)
Duradouro (32%)
Moderado (51%)
Nº de trabalhadores
Moderado...
Destaques
● Mapeamos e analisamos o conceito de ‘engajamento’
● Propomos métricas para avaliação quantitativa
○ Grau e dur...
Arcabouço sobre Credibilidade
A
Tipos
● Presumida
● Reputada
● Aparente
● Experimentada
Fases
● Proeminência
● Interpretaç...
Dificuldade da Tarefa
Entropia de Shannon existente no conjunto de respostas
B
B
B
B
A
B
B
A
t1 t2 t3
A
B
B
C
A
0: quando ...
Métricas de Credibilidade
Baseadas no nível de concordância com a maioria
B
A
B
B
A
A
B
B
B
A
B
A
A
B
W1
W2
W3
W4
t1 t2 t3...
Concordância Simples
Proporção de concordância conjunta
B
A
B
B
A
A
B
B
A
B
A
B
W1
W2
W3
W4
t1
t2 t3
t4
A
B
B
B
0: sempre ...
Concordância Ponderada
Média harmônica ponderada entre a credibilidade neutra (0,5)
e a proporção de concordância conjunta...
Concordância Experimentada
Proporção de concordância conjunta, descontada a
concordância devido ao acaso (Cohen’s kappa)
B...
Concordância Reputada
Credibilidade aumenta quando concorda com uma maioria crível
e reduz quando discorda de uma maioria ...
Análise em 4 Bases de Dados
Análise de
Sentimentos
Cell
Spotting
Julgamento
de Fatos
Sun4All
#Trabalhadores 1.960 1103 57 ...
Distribuições de Credibilidade
32
Julgamento de
Fatos
Sun4All Cell Spotting
Análise de
Sentimentos
Distribuições diferente...
Distâncias entre Métricas
Distância absoluta média entre
os valores de credibilidade
● d(c,e)=0,41
● d(c,r)=0,47
● d(c,p)=...
Distâncias com Dificuldade
Distância entre os
valores de
credibilidade
Distância entre os
ranques de
credibilidade
34
Anál...
Destaques
● Mapeamos e analisamos o conceito de ‘credibilidade’
● Propomos quatro métricas de credibilidade espectral
○ Pr...
Relações
Credibilidade, Engajamento e Dificuldade
B
A
B
B
A
A
B
B
A
B
A
B
W1
W2
W3
W4
t1 t2
t3
t4
A
B
B
B
t1 t2 t3
t4
Linh...
Análise em 4 Bases de Dados
Análise de
Sentimentos
Cell
Spotting
Julgamento
de Fatos
Sun4All
Duração (dias) 18 492 - 305
#...
Credibilidade e Dificuldade
38
Análise de Sentimentos
Engajamento e Dificuldade Média
39
Análise de Sentimentos
Engajamento e Credibilidade
40
Análise de Sentimentos
Métrica Ganho
Concord. Simples 1.654,47
Concord. Experimentada 1.545...
Destaques
● Discutimos possíveis interdependências entre
dimensões da atuação dos trabalhadores
○ engajamento, credibilida...
Estudo de Caso de Otimização
42
Replicação de tarefas
baseada na credibilidade
dos trabalhadores
Arcabouço sobre Replicação
Propósitos
● Desempenho
● Tolerância a falhas
Decisões
● Grau de replicação
● Agregação de resp...
Replicação de Tarefas
Objetivo
● Obter uma resposta crível
enquanto garante:
○ Credibilidade requerida
○ Máximo de réplica...
Avaliação em 2 Bases de Dados
Análise de
Sentimentos
Julgamento
de Fatos
Duração (dias) 18 -
#Trabalhadores 1.960 57
#Tare...
Avaliação
Variáveis Independentes
Métrica de Credibilidade Experimentada, Reputada, Ponderada, Simples
Credibilidade Reque...
Efeitos da Credibilidade Requerida
47
Julgamento de FatosAnálise de Sentimentos
Perspectiva
conservadora
Efeitos da Urgência
48
Perspectiva
conservadora
Análise de Sentimentos Julgamento de Fatos
Cenários de Referência
● Interesses do usuário
○ Configurações
● Oráculo
○ Referência para
economia de réplicas
● Voto maj...
Destaques
● Mapeamos e analisamos o conceito de replicação
● Propomos um algoritmo de replicação baseado em
○ Credibilidad...
Contribuições
Analisamos computação por humanos na
perspectiva de um sistema distribuído
Analisamos a oferta de poder cogn...
Muito Obrigado
por sua presença e atenção!
Próximos SlideShares
Carregando em…5
×

Computação por Humanos na Perspectiva do Engajamento e Credibilidade de Seres Humanos e da Replicação de Tarefas

93 visualizações

Publicada em

Human computation is a computing approach that draws upon human cognitive abilities to solve computational tasks for which there are so far no satisfactory fully automated solutions. In human computation systems, the processors performing the computations are humans rather than machines. The effectiveness of this kind of system relies on its ability to optimize the use of the cognitive power provided by each human processor. However, little is known about how humans provide their cognitive power in these systems and how these systems can use such cognitive power properly. This study aims at advancing knowledge in this direction. To guide this study, we articulate a framework of theories and concepts about human computation, human engagement, human credibility, and the optimization of computational systems. Based on this theoretical-conceptual framework, we propose metrics to characterize the cognitive power available in a human computation system in terms of the engagement and the credibility of the participants. As case study of system optimization, we also propose a task replication algorithm that optimizes the use of the available cognitive power taking into account information about the credibility of participants. By using correlations, regressions, and clustering algorithms, we characterize the engagement and credibility of participants in data collected from six real systems. Several behavioral patterns are identified in such characterization. Participants can be divided into two broad classes of engagement: the transients, those who work in the system in just one day; and the regulars, those who exhibit a more lasting engagement. Regulars are the minority of participants, but they aggregate the larger amount of cognitive power to the system. They can be subdivided into five groups, labeled as: hardworking, spasmodic, persistent, lasting and moderate. The credibility of participants can be measured by using several different metrics based on the level of agreement among them. Regardless of the metric used, the credibility is negatively correlated with the degree of difficulty of the tasks. Results from simulation show that the proposed task replication algorithm can improve the ability of the system to properly use the cognitive power provided by participants. It also allows one to address trade-offs between different quality-of-service requirements.

Publicada em: Dados e análise
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
93
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Computação por Humanos na Perspectiva do Engajamento e Credibilidade de Seres Humanos e da Replicação de Tarefas

  1. 1. Computação por Humanos na Perspectiva do Engajamento e Credibilidade de Seres Humanos e da Replicação de Tarefas Lesandro Ponciano, Francisco Brasileiro
  2. 2. Computação ● ‘Processo de mapear entrada em saída usando um conjunto finito de instruções’ Entrada Instruções Saída … por Humanos Tarefa Resposta 2 ● O mapeamento é realizado por um ser humano ● O processador é um ser humano
  3. 3. … mas ainda existem tarefas que os seres humanos são capazes de executar de forma mais eficiente e eficaz No início, ‘computadores’ eram seres humanos que realizavam cálculos matemáticos Surgem máquinas capazes de realizar tais computações: computadores digitais 3
  4. 4. HumanosMáquinas Cálculos matemáticos Compreensão de conteúdos em imagens Compreensão de linguagem natural 4 Simulações em larga escala Geração de conteúdo criativo ...
  5. 5. Verifique se a imagem abaixo retrata um pôr-do-sol e marque a resposta mais adequada: Sim, a imagem retrata um pôr-do-sol Não, a imagem não retrata um pôr-do-sol 5 Tarefa
  6. 6. Aplicação Distribuída ... 6 Sim Não
  7. 7. Sistema Distribuído Internet Trabalhadores Usuários zooniverse.org mturk.com crowdflower.com 7
  8. 8. Funcionamento e Desempenho 8
  9. 9. Problema Internet ? 9 Há pouco conhecimento sobre as características de oferta de poder cognitivo e de como o sistema pode usar de forma otimizada tal oferta
  10. 10. Uma Questão de Otimização Redundância para tolerar falhas ou detectar consenso 10 Tarefa 1 B B BA 3 1 2 Redundância de execução Respostas Resposta Final ● Definição da quantidade de redundância ● Atualmente ○ Definido pelo usuário ○ Igual para todas as tarefas ○ Antes da execução ● Subestimar vs superestimar ...
  11. 11. Abordagem Proposta Engajamento: Padrões com que os trabalhadores disponibilizam poder cognitivo no sistema Credibilidade: O quão se pode acreditar nas respostas providas pelos trabalhadores Caracterização Otimização Replicação adaptativa: Definição do nível de redundância adequado para cada tarefa de forma automática e durante a execução 11 e
  12. 12. Arcabouço sobre Engajamento Avaliação ● Subjetiva/Qualitativa ● Objetiva/Quantitativa Ponto de Engajamento Ponto de Desengajamento Ponto de Engajamento Ponto de Desengajamento Dimensões ● Tipo ● Grau ● Duração Tempo Processo ● Curto prazo ● Longo prazo 12
  13. 13. Métricas de Engajamento Baseadas em dados da atuação dos trabalhadores no projeto Tempo que o trabalhador pode permanecer no projeto Primeiro dia ativo Último dia ativo Tempo dedicado no dia Tempo decorrido entre dois dias ativos Tempo que o trabalhador permaneceu no projeto Início do projeto Fim do projeto Dia ativoSessão de trabalho 13
  14. 14. Tempo Dedicado Diariamente Média do tempo dedicado nos dias ativos Tempo que o trabalhador pode permanecer no projeto Tempo que o trabalhador permaneceu no projeto Início do projeto Primeiro dia ativo Tempo dedicado no dia Tempo decorrido entre dois dias ativos Último dia ativo Fim do projeto 14
  15. 15. Taxa de Atividade Razão entre o número de dias ativos e o número de dias em que o trabalhador permaneceu no projeto Tempo que o trabalhador pode permanecer no projeto Tempo que o trabalhador permaneceu no projeto Início do projeto Primeiro dia ativo Tempo dedicado em um dia ativo Tempo decorrido entre dois dias ativos Último dia ativo Fim do projeto 15
  16. 16. Variação na Periodicidade Desvio padrão do tempo decorrido entre dias ativos Início do projeto Primeiro dia ativo Tempo dedicado em um dia ativo Tempo decorrido entre dois dias ativos Último dia ativo Fim do projeto Tempo que o trabalhador pode permanecer no projeto Tempo que o trabalhador permaneceu no projeto 16
  17. 17. Duração Relativa da Atividade Razão entre o número de dias em que o trabalhador permaneceu no projeto e o tempo potencial de permanência Tempo potencial que o trabalhador pode permanecer no projeto Primeiro dia ativo Último dia ativo Tempo dedicado em um dia ativo Tempo decorrido entre dois dias ativos Tempo que o trabalhador permaneceu no projeto Início do projeto Fim do projeto 17
  18. 18. Análise em 5 Bases de Dados Análise de Sentimentos Cell Spotting Galaxy Zoo Sun4All The Milky Way Project Duração (dias) 18 492 840 305 670 #Trabalhadores 1960 1.103 86.413 116 23.889 #Eventos 569.375 94.137 9.667.586 4.328 643.408 Timestamp ● ● ● ● ● 18
  19. 19. Primeiro dia ativo = Último dia ativo Tempo Primeiro dia ativo Último dia ativo Tempo ... Transientes Regulares Importante 86% 84% 90% 70% 93% do tempo dedicado Regulares Minoria 36% 28% 42% 35% 41% dos trabalhadores Galaxy Zoo The Milky Way Project Cell Spotting Sun4All Análise de Sentimentos Classes de Engajamento 19
  20. 20. Distribuições do Engajamento 20 Semelhanças entre projetos Diferenças entre métricas
  21. 21. Perfis de Engajamento Galaxy Zoo Cell Spotting The Milky Way Project Sun4All 21
  22. 22. Importância Tempo dedicado Persistente (41%) Persistente (40%) Duradouro (32%) Moderado (51%) Nº de trabalhadores Moderado (31%) Moderado (30%) Moderado (43%) Moderado (69%) Galaxy Zoo The Milky Way Project Cell Spotting Sun4All 22
  23. 23. Destaques ● Mapeamos e analisamos o conceito de ‘engajamento’ ● Propomos métricas para avaliação quantitativa ○ Grau e duração do engajamento ○ Engajamento de curto prazo e de longo prazo ○ Semelhanças e diferenças entre trabalhadores ○ Importância em termos da oferta de poder cognitivo ● Em dados de 4 projetos reais, observamos ○ Duas classes: regulares e transientes ○ A maioria é transiente e os mais importantes são os regulares ○ Regulares podem ser subdivididos em 5 grupos que diferem em termos do engajamento e da importância 23
  24. 24. Arcabouço sobre Credibilidade A Tipos ● Presumida ● Reputada ● Aparente ● Experimentada Fases ● Proeminência ● Interpretação Modelos ● Binário ● Por limiar ● Espectral 24 Fonte da informação Informação Usuário da informação
  25. 25. Dificuldade da Tarefa Entropia de Shannon existente no conjunto de respostas B B B B A B B A t1 t2 t3 A B B C A 0: quando todas as respostas são iguais -> infinito positivo: quando aumenta a distribuição dos trabalhadores e a diversidade de respostas 0.0 1.0 1.5 ... 25
  26. 26. Métricas de Credibilidade Baseadas no nível de concordância com a maioria B A B B A A B B B A B A A B W1 W2 W3 W4 t1 t2 t3 t4 Trabalhadores Tarefas A BB ARespostas majoritárias 26
  27. 27. Concordância Simples Proporção de concordância conjunta B A B B A A B B A B A B W1 W2 W3 W4 t1 t2 t3 t4 A B B B 0: sempre discorda 1: sempre concorda B A B B ... 27 Credibilidade Superficial
  28. 28. Concordância Ponderada Média harmônica ponderada entre a credibilidade neutra (0,5) e a proporção de concordância conjunta B A B B A A B B A B A B W1 W2 W3 W4 t1 t2 t3 t4 A B B B -> 1: sempre concorda e o número de tarefas executadas cresce -> 0: sempre discorda e o número de tarefas executadas cresce A B BB 28 Credibilidade Presumida -> 0,5: poucas tarefas executadas ou probabilidade de concordância de 0,5 ......
  29. 29. Concordância Experimentada Proporção de concordância conjunta, descontada a concordância devido ao acaso (Cohen’s kappa) B A B B A A B B A B A B W1 W2 W3 W4 t1 t2 t3 t4 A B B B 1: concorda mais que ocorreria de forma aleatória 0: discorda mais do que ocorreria de forma aleatória A BB A ... 29 Credibilidade Experimentada
  30. 30. Concordância Reputada Credibilidade aumenta quando concorda com uma maioria crível e reduz quando discorda de uma maioria crível B A B B A A B B A B A B W1 W2 W3 W4 t1 t2 t3 t4 A B B B 0: sempre discorda e de maioria de credibilidade 1 1: sempre concorda e de maioria de credibilidade 1A B BB ... 30 Credibilidade Reputada
  31. 31. Análise em 4 Bases de Dados Análise de Sentimentos Cell Spotting Julgamento de Fatos Sun4All #Trabalhadores 1.960 1103 57 116 #Tarefas 98.980 4.067 42.624 417 Respostas ● ● ● ● 31
  32. 32. Distribuições de Credibilidade 32 Julgamento de Fatos Sun4All Cell Spotting Análise de Sentimentos Distribuições diferentes entre métricas Algumas semelhanças entre projetos
  33. 33. Distâncias entre Métricas Distância absoluta média entre os valores de credibilidade ● d(c,e)=0,41 ● d(c,r)=0,47 ● d(c,p)=0,35 ● d(e,r)=0,48 ● d(e,p)=0,47 ● d(r,p)=0,48 Distância entre os ranques de credibilidade (kendall) ● (c,e)=0,25 ● (c,r)=0,12 ● (c,p)=0,04 ● (e,r)=0,20 ● (e,p)=0,28 ● (r,p)=0,11 33Sun4All
  34. 34. Distâncias com Dificuldade Distância entre os valores de credibilidade Distância entre os ranques de credibilidade 34 Análise de Sentimentos
  35. 35. Destaques ● Mapeamos e analisamos o conceito de ‘credibilidade’ ● Propomos quatro métricas de credibilidade espectral ○ Proeminência da credibilidade ○ Concordância entre os trabalhadores ○ Dificuldade das tarefas ● Em dados de 4 projetos, observamos que as métricas: ○ Geram diferentes distribuições dos trabalhadores ○ Estimam valores diferentes de credibilidade ○ Originam diferentes ordem de credibilidade dos trabalhadores 35
  36. 36. Relações Credibilidade, Engajamento e Dificuldade B A B B A A B B A B A B W1 W2 W3 W4 t1 t2 t3 t4 A B B B t1 t2 t3 t4 Linha do tempo do trabalhador W1 Tempo A A B B 36 Taxa de atividade Variação na Periodicidade Tempo dedicado diariamente Duração Relativa da atividade Concord. Simples Concord. Experimentada Concord. Ponderada Concord. Reputada Dificuldade Dificuldade Média
  37. 37. Análise em 4 Bases de Dados Análise de Sentimentos Cell Spotting Julgamento de Fatos Sun4All Duração (dias) 18 492 - 305 #Trabalhadores 1960 1.103 57 116 #Tarefas 98.860 4.067 42.624 417 #Eventos 569.375 94.134 220.000 4.328 Timestamp ● ● ● Respostas ● ● ● ● 37
  38. 38. Credibilidade e Dificuldade 38 Análise de Sentimentos
  39. 39. Engajamento e Dificuldade Média 39 Análise de Sentimentos
  40. 40. Engajamento e Credibilidade 40 Análise de Sentimentos Métrica Ganho Concord. Simples 1.654,47 Concord. Experimentada 1.545,68 Concord. Reputada 1.576,57 Concord. Ponderada 2.050,63
  41. 41. Destaques ● Discutimos possíveis interdependências entre dimensões da atuação dos trabalhadores ○ engajamento, credibilidade e dificuldade ● Nos projetos estudados, observamos que ○ A credibilidade tem forte relação com a dificuldade das tarefas ○ A relação entre engajamento e dificuldade média varia com o projeto ○ A relação entre engajamento e credibilidade é dependente da dificuldade ○ Engajamento tem baixo poder explicativo da credibilidade 41
  42. 42. Estudo de Caso de Otimização 42 Replicação de tarefas baseada na credibilidade dos trabalhadores
  43. 43. Arcabouço sobre Replicação Propósitos ● Desempenho ● Tolerância a falhas Decisões ● Grau de replicação ● Agregação de respostas Recurso 1 A A B B B Recurso 3 A 43 Recurso 2 A C
  44. 44. Replicação de Tarefas Objetivo ● Obter uma resposta crível enquanto garante: ○ Credibilidade requerida ○ Máximo de réplicas ○ Urgência Se maxRepl, mas não credRequ ● Perspectiva conservadora ○ Tarefa sem conclusão ● Perspectiva não conservadora ○ Grupo mais crível 44
  45. 45. Avaliação em 2 Bases de Dados Análise de Sentimentos Julgamento de Fatos Duração (dias) 18 - #Trabalhadores 1.960 57 #Tarefas 98.980 42.624 #Eventos 569.375 220.000 Respostas ● ● Ground truth ● ● ● Simulações usando duas bases de dados como rastros ● Sequência de execução e as respostas providas pelos trabalhadores ● Se a replicação termina antes que todas as réplicas sejam utilizadas 45
  46. 46. Avaliação Variáveis Independentes Métrica de Credibilidade Experimentada, Reputada, Ponderada, Simples Credibilidade Requerida 0,6 - 0,99 Urgência 0;0,25; 0,5; 0,75; 1 Variáveis Dependentes Economia de réplicas Acurácia Proporção de tarefas sem conclusão Cenários de Referência Valor de referência mínimo Voto majoritário Valor de referência máximo Oráculo 46
  47. 47. Efeitos da Credibilidade Requerida 47 Julgamento de FatosAnálise de Sentimentos Perspectiva conservadora
  48. 48. Efeitos da Urgência 48 Perspectiva conservadora Análise de Sentimentos Julgamento de Fatos
  49. 49. Cenários de Referência ● Interesses do usuário ○ Configurações ● Oráculo ○ Referência para economia de réplicas ● Voto majoritário ○ Referência para a Acurácia 49 Análise de Sentimentos
  50. 50. Destaques ● Mapeamos e analisamos o conceito de replicação ● Propomos um algoritmo de replicação baseado em ○ Credibilidade espectral e binária ○ Proeminência e interpretação ● Em simulações, observamos que ○ O desempenho do algoritmo depende dos parâmetros e das tarefas ○ Pode superar o oráculo e o voto majoritário ○ Concordância experimentada e concordância reputada sempre estão entre as melhores métricas 50
  51. 51. Contribuições Analisamos computação por humanos na perspectiva de um sistema distribuído Analisamos a oferta de poder cognitivo no sistema usando as lentes do engajamento e da credibilidade Avaliamos o emprego de replicação adaptativa para melhorar o uso do poder cognitivo Obtivemos resultados sobre engajamento, credibilidade e replicação em 6 sistemas Problema: Pouco conhecimento sobre características da oferta de poder cognitivo e de como o sistema pode usar tal oferta de forma otimizada 51
  52. 52. Muito Obrigado por sua presença e atenção!

×