Análise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribuição de Autoria de Código Fonte em Cursos de Programação
•
0 gostou•262 visualizações
O documento analisa e compara os modelos SCAP, vetorial e Okapi BM25 para atribuição de autoria de códigos fontes em bases acadêmicas, avaliando seu desempenho em pequenas coleções de códigos, mesmas tarefas e graus de maturidade. O objetivo é implementar as três abordagens usando n-gramas e variar parâmetros para identificar a precisão em cada contexto.
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (15)
Mais de Juliane Silva
Análise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribuição de Autoria de Código Fonte em Cursos de Programação
- 1. An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de Programa¸c˜ao Juliane dos Santos Silva1 Prof. Dr. Sergio Cleger Tamayo1 Prof. MSc. M´arcio Palheta Piedade2 Engenharia de Computa¸c˜ao 1Universidade do Estado do Amazonas (UEA) 2Universidade Federal do Amazonas (UFAM) 16 de junho de 2016
- 2. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho 1 Introdu¸c˜ao Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos 2 Fundamentos 3 Experimentos 4 Resultados 5 Conclus˜ao 6 Publica¸c˜ao referente a este trabalho Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 3. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Quem ´e o autor? “Com grandes poderes vˆem grandes responsabilidades...” Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 4. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Quem ´e o autor? Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 5. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Quem ´e o autor? Atribuir autoria ´e dizer quem ´e o autor de uma obra, considerando uma base conhecida de obras e seus autores. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 6. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Quem ´e o autor do c´odigo fonte? Atribuir autoria prum c´odigo fonte ´e dizer quem ´e o autor de um c´odigo, considerando uma base de c´odigos e seus autores. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 7. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Um detalhe: c´odigos fonte tem umas particularidades Regras de sintaxe; Reuso de trechos de c´odigos entre programas; Fun¸c˜oes de indenta¸c˜ao e autoformata¸c˜ao. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 8. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Um detalhe: c´odigos fonte tem umas particularidades Regras de sintaxe; Reuso de trechos de c´odigos entre programas; Fun¸c˜oes de indenta¸c˜ao e autoformata¸c˜ao. Ent˜ao, como dizer que um c´odigo foi feito por tal pessoa? Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 9. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Como dizer que um c´odigo foi feito por tal pessoa? Por RI, redes neurais, aprendizagem de m´aquina,... Uma das abordagens mais eficazes atualmente ´e a Source Code Author Profile (SCAP), proposta por Frantzeskou; Um modelo focado em ambientes acadˆemicos ´e proposto por Palheta. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 10. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos SCAP ´e uma solu¸c˜ao, s´o que... Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 11. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos SCAP ´e uma solu¸c˜ao, s´o que... A abordagem SCAP n˜ao foi analisada para... Pequenas cole¸c˜oes de c´odigos Mesmo grupo de tarefas Diferentes graus de maturidade Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 12. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos SCAP ´e uma solu¸c˜ao, s´o que... A abordagem SCAP n˜ao foi analisada para... Pequenas cole¸c˜oes de c´odigos Mesmo grupo de tarefas Diferentes graus de maturidade Caracter´ısticas recorrentes de bases acadˆemicas. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 13. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Quest˜oes de pesquisa Qual o desempenho da abordagem SCAP quando aplicada a bases acadˆemicas? Qual o desempenho dos modelos cl´assicos de RI (vetorial, Okapi BM25) nessa situa¸c˜ao? Quando o cen´ario acadˆemico ´e considerado, o SCAP continua sendo o mais eficiente? Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 14. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Objetivo geral Analisar e comparar o desempenho dos modelos SCAP, vetorial e Okapi BM25 em rela¸c˜ao a atribui¸c˜ao de autoria em bases acadˆemicas. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 15. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Quest˜oes de pesquisa Objetivo geral Objetivos espec´ıficos Objetivos espec´ıficos Implementar trˆes m´aquinas de busca, utilizando os modelos SCAP, vetorial e Okapi BM25 em conjunto com a t´ecnica de n-gramas de caracteres consecutivos; Variar os parˆametros dos modelos para identificar quando eles melhor desempenham; Analisar a acur´acia dos modelos com bases acadˆemicas. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 16. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de Programa¸c˜ao Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 17. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Um parˆenteses: n-gramas Exemplo: a palavra VIDA 2-gramas do exemplo (n = 2): VI, ID, DA. N-grama ´e uma sequˆencia de n-caracteres consecutivos, que fazem parte de uma string maior. Onde n indica o tamanho da substring gerada. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 18. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Mas como atribuir autoria a um c´odigo fonte? SCAP, vetorial e Okapi BM25 trabalham com Recupera¸c˜ao de Informa¸c˜ao (RI). RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens de informa¸c˜ao. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 19. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Recupera¸c˜ao de Informa¸c˜ao - Indexa¸c˜ao RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 20. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Recupera¸c˜ao de Informa¸c˜ao - Indexa¸c˜ao RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens. Atribuir autoria ´e dizer quem ´e o autor de uma obra, considerando uma base conhecida de obras. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 21. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Recupera¸c˜ao de Informa¸c˜ao - Ranqueamento RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens. Dada uma obra, atribuir autoria ´e dizer quem ´e o autor dessa obra. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 22. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Recupera¸c˜ao de Informa¸c˜ao - Indexa¸c˜ao de c´odigo RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 23. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Recupera¸c˜ao de Informa¸c˜ao - Ranqueamento de c´odigo RI lida com a representa¸c˜ao, a organiza¸c˜ao e o acesso a itens. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 24. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 25. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Concatena os c´odigos por autor; Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 26. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Concatena os c´odigos por autor; Exemplo de c´odigos da autora ”Juliane”... C´odigo 1: public void C´odigo 2: von Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 27. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Concatena os c´odigos por autor; Exemplo de c´odigos da autora ”Juliane”... C´odigo 1: public void C´odigo 2: von C´odigos concatenados: public void von Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 28. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Extrai todos os n-gramas `a n´ıvel de caracter, incluindo espa¸co, t, n; Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 29. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Extrai todos os n-gramas `a n´ıvel de caracter, incluindo espa¸co, t, n; Considerando n = 2... C´odigos concatenados: public void von Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 30. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Extrai todos os n-gramas `a n´ıvel de caracter, incluindo espa¸co, t, n; Considerando n = 2... C´odigos concatenados: public void von 2-gramas do c´odigo: pu, ub, bl, li, ic, c , v, vo, oi, id, d , v, vo, on Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 31. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Ordena decrescentemente os n-gramas por frequˆencia; Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 32. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Ordena decrescentemente os n-gramas por frequˆencia; 2-gramas do c´odigo: pu, ub, bl, li, ic, c , v, vo, oi, id, d , v, vo, on, Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 33. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Ordena decrescentemente os n-gramas por frequˆencia; 2-gramas do c´odigo: pu, ub, bl, li, ic, c , v, vo, oi, id, d , v, vo, on, Por frequˆencia: pu: 1, ub: 1, bl: 1, li: 1, ic: 1, c : 1, v: 2, vo: 2, oi: 1, id: 1, d : 1, on: 1 Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 34. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Ordena decrescentemente os n-gramas por frequˆencia; 2-gramas do c´odigo: pu, ub, bl, li, ic, c , v, vo, oi, id, d , v, vo, on, Por frequˆencia: pu: 1, ub: 1, bl: 1, li: 1, ic: 1, c : 1, v: 2, vo: 2, oi: 1, id: 1, d : 1, on: 1 Decrescentemente: v: 2, vo: 2, pu: 1, ub: 1, bl: 1, li: 1, ic: 1, c : 1, oi: 1, id: 1, d : 1, on: 1 Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 35. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Mant´em os L n-gramas. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 36. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Mant´em os L n-gramas. Considerando L = 3... Decrescentemente: v: 2, vo: 2, pu: 1, ub: 1, bl: 1, li: 1, ic: 1, c : 1, oi: 1, id: 1, d : 1, on: 1 Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 37. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Extra¸c˜ao de caracter´ısticas Mant´em os L n-gramas. Considerando L = 3... Decrescentemente: v: 2, vo: 2, pu: 1, ub: 1, bl: 1, li: 1, ic: 1, c : 1, oi: 1, id: 1, d : 1, on: 1 3 2-gramas do c´odigo: v: 2, vo: 2, pu: 1 Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 38. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Simplified Profile (SP) 3 2-gramas do c´odigo: v: 2, vo: 2, pu: 1 Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 39. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Simplified Profile (SP) 3 2-gramas do c´odigo: v: 2, vo: 2, pu: 1 Esse L n-gramas ´e o Simplified Profile (SP) do autor. Usado no SCAP e nos demais modelos desta pesquisa. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 40. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Ranqueamento Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 41. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho SCAP - Ranqueamento Simplified Profile Intersection (SPI) SPI = SPA ∩ SPP SPA ´e o perfil de um autor; SPP ´e o perfil de uma consulta. O autor classificado ´e o que alcan¸ca o maior n´umero de intersec¸c˜oes com a consulta. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 42. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Vetorial - Ranqueamento Cada termo possui um peso em rela¸c˜ao a um documento; Cada documento ´e representado como um vetor de termos; Vetores num espa¸co vetorial n-dimensional. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 43. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Vetorial - Ranqueamento A distˆancia vetorial ´e usada como medida de similaridade. O cosseno do ˆangulo entre o vetor de um autor e o da consulta. sim(dj , q) = dj • q |dj | × |q| (1) O numerador representa o produto interno dos dois vetores; O denominador representa o produto da norma dos dois vetores. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 44. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Okapi BM25 - Ranqueamento sim(dj , q) = n i=1 IDF(qi ) · tf (qi , d) · (k1 + 1) tf (qi , d) + k1 · (1 − b) + b · |d| |davg | (2) IDF(qi ) representa a raridade do termo na cole¸c˜ao; tf (qi , d) representa a importˆancia do termo no documento; Fatores de suaviza¸c˜ao do tamanho do documento. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 45. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Cole¸c˜oes de c´odigos testadas INICIANTE 1 (944) Local/ED Disciplina obrigat´oria; Alunos matriculados; Certo grau de certeza de autoria. INICIANTE 2 (239) USP/ED Idem INICIANTE 1; .h passado pelo prof.; C´odigos muito bem comentados. AVANC¸ADA (270) USP/Maratona Treinamento; Alunos volunt´arios; Alto grau de certeza de autoria. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 46. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho M´etodo dos experimentos 1 Extra´ımos as caracter´ısticas, variando os valores de n e L; n 6, 10, 14 L infinito, omitindo n-gramas com frequˆencia = 1 2 Aplica¸c˜ao do modelo da vez (SCAP, vetorial, BM25); 3 Cada documento da cole¸c˜ao foi usado como consulta; 4 Documento-consulta foi removido da cole¸c˜ao. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 47. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Avalia¸c˜ao dos resultados Dada uma consulta q, o autor do c´odigo no topo do ranque de respostas ´e o autor de q. Acur ´acia = N ´umero de acertos N ´umero de consultas Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 48. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Resultados - INICIANTE 1 Os trˆes modelos acertaram metade dos autores da cole¸c˜ao e erraram a outra metade. O SCAP com n = 10 apresentou a melhor acur´acia; e o BM25 com n = 14, a menor. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 49. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Resultados - INICIANTE 2 O SCAP apresentou os menores resultados dos experimentos. O vetorial com n = 10 apresentou o melhor resultado. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 50. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Resultados - AVANC¸ADA O SCAP apresentou resultados equivalentes aos alcan¸cados nos experimentos de Frantzeskou et al.; maior com n = 10. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 51. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Compara¸c˜ao entre os modelos propostos ´E mais dif´ıcil atribuir autoria para cole¸c˜ao INICIANTE. A cole¸c˜ao AVANC¸ADA apresentou bons resultados quando aplicada aos trˆes m´etodos. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 52. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Compara¸c˜ao entre os modelos propostos O SCAP produziu os melhores resultados para a cole¸c˜ao INICIANTE 1 e AVANC¸ADA. Os melhores resultados estavam associados a n = 10. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 53. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Conclus˜ao Qual o desempenho dos modelos SCAP, vetorial e Okapi BM25 quando aplicada a bases acadˆemicas? As cole¸c˜oes de programas de alunos iniciantes representam um problema mais dif´ıcil de resolver. A cole¸c˜ao de alunos avan¸cados produziu bons resultados quando aplicada aos trˆes m´etodos. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 54. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Conclus˜ao Quando o cen´ario acadˆemico ´e considerado, o SCAP continua sendo o mais eficiente? O SCAP produziu o melhor resultado para as cole¸c˜oes INICIANTE 1 e AVANC¸ADA, 53,7% e 87,8% de acur´acia, respectivamente. Quanto ao tamanho n do n-gramas, os melhores resultados estavam associados a n = 10. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 55. Introdu¸c˜ao Fundamentos Experimentos Resultados Conclus˜ao Publica¸c˜ao referente a este trabalho Artigo SANTOS SILVA, J.; CLEGER TAMAYO, S.; PALHETA, M.; An´alise da Abordagem SCAP para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de Programa¸c˜ao. Anais do Encontro Regional de Computa¸c˜ao e Sistemas de Informa¸c˜ao - ENCOSIS 2016 - ISSN: 2238-5096, p´aginas 25-33. Juliane Silva An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de
- 56. An´alise dos Modelos SCAP, Vetorial e Okapi BM25 para Atribui¸c˜ao de Autoria de C´odigo Fonte em Cursos de Programa¸c˜ao Juliane dos Santos Silva1 Prof. Dr. Sergio Cleger Tamayo1 Prof. MSc. M´arcio Palheta Piedade2 Engenharia de Computa¸c˜ao 1Universidade do Estado do Amazonas (UEA) 2Universidade Federal do Amazonas (UFAM) 16 de junho de 2016