Anotacao de corpus

164 visualizações

Publicada em

Breve apresentação sobre a tarefa de anotação manual de córpus.

Publicada em: Ciências
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
164
No SlideShare
0
A partir de incorporações
0
Número de incorporações
7
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Anotacao de corpus

  1. 1. Anotação de corpus Fernando A. A. Nóbrega e Nathan S. Hartmann Universidade de São Paulo (NILC/ICMC/USP) 30/09/2015
  2. 2. Introdução Imersão Prática References Agenda Introdução → O que é anotação de córpus → Tipos de anotação → Anotação de córpus e mercado de trabalho Imersão → Detalhes mais técnicos sobre a anotação Prática → Demonstrações → Algumas práticas para exercitar
  3. 3. Introdução Imersão Prática References Introdução O que é Anotação de Córpus? 1 Anotação: Tarefa (geralmente, manual) com objetivo de explicitar diferentes níveis de conhecimento → Pode ser semimanual → Fazemos isso o tempo todo 2 Córpus: Uma coleção de objetos linguísticos para uso em aplicações de PLN Santos 2008 IV SPL e IX SPLIN 1/22
  4. 4. Introdução Imersão Prática References Introdução IV SPL e IX SPLIN 1/22
  5. 5. Introdução Imersão Prática References Introdução O que é Anotação de Córpus? 1 Anotação: Tarefa (geralmente, manual) com objetivo de explicitar diferentes níveis de conhecimento → Pode ser semimanual → Fazemos isso o tempo todo 2 Córpus: Uma coleção de objetos linguísticos para uso em aplicações de PLN Santos 2008 IV SPL e IX SPLIN 1/22
  6. 6. Introdução Imersão Prática References Introdução Anotação de Córpus Tarefa (geralmente, manual) com objetivo de explicitar diferentes níveis de conhecimento ao rotular os objetos armazenados no córpus IV SPL e IX SPLIN 1/22
  7. 7. Introdução Imersão Prática References Anotação de Córpus na Academia Geralmente, utilizada para descrever algum fenômeno linguístico e/ou para fins de automatização computacional Variados níveis de conhecimento 1 Etiquetação/validação de etiquetas morfossintáticas 2 Geração/validação de Árvores sintáticas 3 Desambiguação de sentidos 4 Papéis semânticos 5 Polaridade de reviews, sentenças, etc. 6 Segmentação de subtópicos 7 Identificação de Relações Discursivas 8 Identificação de erros em resumos Onde publicar: STIL, PROPOR, LREC, ELC, ... IV SPL e IX SPLIN 2/22
  8. 8. Introdução Imersão Prática References Anotação de córpus no Mercado Amazon Mechanical Turk Apple Google IV SPL e IX SPLIN 3/22
  9. 9. Introdução Imersão Prática References Dificuldades Basta ligar o computador e sair anotando....? É um projeto com várias questões envolvidas IV SPL e IX SPLIN 4/22
  10. 10. Introdução Imersão Prática References Dificuldades Basta ligar o computador e sair anotando....? NÃO!!!! É um projeto com várias questões envolvidas IV SPL e IX SPLIN 4/22
  11. 11. Introdução Imersão Prática References Dificuldades Basta ligar o computador e sair anotando....? NÃO!!!! É um projeto com várias questões envolvidas 1 Quem e quantos serão os anotadores? 2 Qual o conhecimento dos anotadores na tarefa? 3 A tarefa de anotação é bem definida? 4 É necessário treinar os anotadores? Se sim, como? 5 Qual será o local da anotação (reuniões, online)? 6 Qual a frequência das ”reuniões“? 7 Qual a validade da tarefa (concordância)? 8 Qual o objetivo do recurso? IV SPL e IX SPLIN 4/22
  12. 12. Introdução Imersão Prática References Anotação é somente coisa de linguísta?! Depende da natureza da tarefa. Público Geral Apontar a qualidade de um produto - Ruim-Bom, 0-5, etc. Identificar localidades, nomes de pessoas, etc. Público Específico Anotar papéis semânticos. Identificar traços de demência em textos. Reconhecimento de língua materna por voz (estrangeiros) IV SPL e IX SPLIN 5/22
  13. 13. Introdução Imersão Prática References Mais alguns detalhes Defindo a tarefa Validando a anotação - Concordância Quando refinar a tarefa? Recursos necessários IV SPL e IX SPLIN 6/22
  14. 14. Introdução Imersão Prática References Definição da tarefa O que é efetivamente a tarefa (sem ambiguidade e brechas para dúvidas) → Definição de um manual de anotação - diretrizes → Geralmente, refinado durante a tarefa IV SPL e IX SPLIN 7/22
  15. 15. Introdução Imersão Prática References Concordância na anotação Normalmente mais de uma pessoa anota um mesmo conjunto de dados Importante, pois indica convergência, padronização (”qualidade“) Percentual de concordância Medida Kappa mais frequentemente usada → Desconsidera o acaso → Há ferramentas online: http://vassarstats.net/kappa.html1 1 Algumas são parciais IV SPL e IX SPLIN 8/22
  16. 16. Introdução Imersão Prática References Concordância com Kappa Como usar Instalar o interpretador Perl Formatar os dados de anotação em um arquivo CSV usando TAB → Fácil usando Excel, OpenOffice Executar com: perl kappaDiagnosis.pl “resumo-anotacao.txt” > saida.txt → Necessária Instalação do Perl IV SPL e IX SPLIN 9/22
  17. 17. Introdução Imersão Prática References Calculando kappa Anotador1 Anotador2 Sent1 A A Sent2 B A Sent3 A A Sent4 B A Sent5 B A - A B A 2 0 B 3 0 Percentual: 40% Kappa: -0.429 IV SPL e IX SPLIN 10/22
  18. 18. Introdução Imersão Prática References Concordância com adjudicação IV SPL e IX SPLIN 11/22
  19. 19. Introdução Imersão Prática References Prática Agora vamos praticar! Vocês verão que: Podemos utilizar diversos ambientes para anotação → Alguns são mais simples, outros com mais funcionalidades Algumas tarefas são mais simples do que outras → Algumas tarefas até demandam treinamento IV SPL e IX SPLIN 12/22
  20. 20. Introdução Imersão Prática References Prática - Análise de Sentimentos Objetivo: Determinar a polaridade de uma sentença em relação à uma entidade Polaridade: Negativa, Neutra e Positiva Entrada: Pares formados por sentença e entidade Ferramenta: Google Docs (http://migre.me/rFAdE) Concordância IV SPL e IX SPLIN 13/22
  21. 21. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos Anotação de Papéis Semânticos (APS): Detecta os eventos descritos nas sentenças e os participantes destes eventos. Eventos são realizados por predicados (aqui, verbos). Participantes são chamados de argumentos. Exemplo: Para a sentença “João quebrou a janela com a pedra.”, temos o evento “quebrar” e seus participantes, “João”, “a janela” e “a pedra”. IV SPL e IX SPLIN 14/22
  22. 22. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos Anotação de Papéis Semânticos (simplificada) O agente da ação do verbo O paciente da ação do verbo O instrumento da ação do verbo A maneira com que a ação é feita A localidade da ocorrência da ação Tempo, ou quando a ação ocorreu A causa da ocorrência da ação Marcação de negação da da ação Exemplo: [Hoje cedoTempo], [lá em casaLocal ], [JoãoAgente] [quebrouVerbo] [a janelaPaciente] [com a pedraInstrumento] [porque estava estressadoCausa]. IV SPL e IX SPLIN 15/22
  23. 23. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos Anotação de Papéis Semânticos (simplificada) O agente da ação do verbo O paciente da ação do verbo O instrumento da ação do verbo A maneira com que a ação é feita A localidade da ocorrência da ação Tempo, ou quando a ação ocorreu A causa da ocorrência da ação Marcação de negação da da ação Exemplo: [Hoje cedoArgM−Tmp], [lá em casaArgM−Loc ], [JoãoArg0] [quebrouV ] [a janelaArg1] [com a pedraArg2] [porque estava estressadoArgM−Cau]. IV SPL e IX SPLIN 15/22
  24. 24. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos Para essa tarefa temos: Um manual de anotação (diretrizes) Repositório para consulta Ferramenta de suporte a anotação Pessoal especializado Anotação duplo-cego Discordâncias resolvidas pelo adjudicador IV SPL e IX SPLIN 16/22
  25. 25. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos IV SPL e IX SPLIN 17/22
  26. 26. Introdução Imersão Prática References Prática - Anotação de Papéis Semânticos Ferramenta de Anotação Salto Plataforma gráfica para anotação em córpus Pode ser utilizada para anotação de propósito geração sobre treebanks Além de proporcionar uma anotação fácil e intuitiva, ela possui o recurso de auxílio à adjudicação Desenvolvida por Burchardt et al. 2006 IV SPL e IX SPLIN 18/22
  27. 27. Introdução Imersão Prática References Brat Ferramenta “online” Usada em diversos trabalhos → Correferência, Dependência Sintática, Entidade Mencionada, Extração de Eventos, Identificação de Erros, etc. http://brat.nlplab.org/ → Necessário Python Anota itens (palavras, sintagmas, trechos) e relações IV SPL e IX SPLIN 19/22
  28. 28. Introdução Imersão Prática References Configuração Vários modelos prontos na Web Organizado em Arquivos e sessões README →descrição da tarefa annotation.conf →O que será anotado tools.conf →Configuração da ferramenta visual.conf →Configuração visual (cores e efeitos) → Mais detalhes em:http: //brat.nlplab.org/configuration.html IV SPL e IX SPLIN 20/22
  29. 29. Introdução Imersão Prática References Aquivos básicos tools.conf [options] Tokens tokenizer:whitespace Sentences splitter:newline Annotation-log logfile:<NONE> visual.conf [labels] [drawing] SPAN-DEFAULT borderColor:darken, fgColor:blue IV SPL e IX SPLIN 21/22
  30. 30. Introdução Imersão Prática References Aquivos básicos annotation.conf [spans] ... [entities] ... [relations] ... [events] ... [attributes] ... IV SPL e IX SPLIN 22/22
  31. 31. Introdução Imersão Prática References Obrigado! Por hoje é só
  32. 32. Introdução Imersão Prática References Referências Burchardt, Aljoscha et al. (2006). ‘SALTO: A versatile multi-level annotation tool’. In: Proceedings of LREC-2006. Genoa, Italy. Santos, Diana (2008). ‘Avanços da Linguística de Corpus do Brasil’. In: ed. by Stella E. O. Tagnin and Oto Araújo Vale. Humanitas. Chap. Corporizando Algumas Questões, pp. 41-66.
  33. 33. Prática - Identificação de Subtópicos Objetivo: Identificar os segmentos de subtópicos de um texto Subtópico: Uma sequência de sentenças que abordam um mesmo tema/tópico Ferramenta: Editor de texto de sua preferência Concordância? → Nem sempre necessitamos utilizar Kappa

×