O documento discute métodos para análise de sentimentos em textos, incluindo redes neurais hierárquicas e modelos de embedding de palavras. Aborda conceitos como word embeddings, processamento de linguagem natural e softmax. Exemplifica a classificação de sentimentos positivos e negativos em frases usando modelos neurais recursivos.

1. ANÁLISE DE
SENTIMENTOS
Métodos Quantitativos para a Decisão
Económica e Empresarial
Joana Fernandes Figueira, nº 45286
Unidade Curricular: Gestão de Dados
Docente: Carlos Costa

2. 1. INTRODUÇÃO
• Crescente dependência dos consumidores pela
internet e pelos serviços que esta disponibiliza;
• Quantidade de informação gerada diariamente tem vindo a aumentar;
• Comentários online ganharam uma estrema importância na decisão final,
quer dos consumidores quer das empresas;
• Com a chegada dos métodos de classificação automática tornou-se
possível analisar uma muito maior quantidade de informação num menor
espaço de tempo.

3. 2. CONCEITOS FUNDAMENTAIS
• Nos problemas de classificação de textos, os documentos são normalmente
representados através de componentes menores
Palavras ou n-gramas (sequência de palavras ou caracteres consecutivos)
• Uma forma possível de representar as diversas componentes de um documento
textual é utilizando o modelo de espaço vetorial
Um determinado peso está associado a cada componente que é representado por um
vetor de características

4.  Word Embeddings
Amplamente utilizada hoje em dia para o
processamento de linguagem natural.
Nesta abordagem, as palavras são
representadas como vetores de grande
dimensão.
Palavras com vetores idênticos tendem a ser
semanticamente semelhantes.
Figura 1: Word Embedding projetados em
duas dimensões.

5.  Processamento de Linguagem Natural (PLN)
Campo específico dentro da área da computação e da inteligência artificial
que estuda a capacidade que os computadores têm de entender a linguagem
humana.
Função Softmax
Função exponencial normalizada que é muitas vezes usadas para classificar
os outputs das redes neuronais em valores entre 0 e 1. Esta função define a
probabilidade de uma determinada categoria, dentro de um problema com
várias classes.
Rede Neuronal

6. 3. REVISÃO DE LITERATURA
Modelo fasttext
• Proposto por Joulin e colegas (grupo de investigadores do Facebook) ;
• Abordagem softmax baseada numa árvore binária;
• Representavam o documento como um conjunto de n-gramas e,
posteriormente, recolhiam o rótulo com maior probabilidade

7. Modelo hierárquico para
classificação textual
• Explorar duas características dos
documentos textuais:
- Natureza hierárquica dos inputs
considerados;
- A importância relativa das diferentes palavras
e frases no texto.
• Word encoder
- Substituem as palavras pelo seu word
embedding;
- Aplicam um codificador de palavras
GRU’s bidirecionais
xit = Wewit, t ∈ [1, T],
= , t ∈ [1, T],
= , t ∈ [T, 1].
Figura 3: Hierarchical Attention Model

8. • Word attention
- Extrair as palavras mais importantes no contexto de cada frase. Esta é
medida comparando cada palavra com o vetor de contexto.
• Sentence encoder e Sentence attention
• Exemplo
- Seleção das palavras com um
sentimento mais relevante para
a classificação;
- Previsão texto da direito com
5
estrelas
texto da esquerda
com 1 estrela
Figura 4: Documentos do Yelp 2013. Número 4 significa
5 estrelas, Número 0 significa 1 estrela.

9. 4. PROPOSTA DE SOLUÇÃO
Standfor Sentiment Treebank baseado numa rede tensorial neuronal
regressiva (RNTN)
• Primeiro modelo que classifica os seus datasets com um rótulo mais
específico, permitindo a melhor análise das frases;
• Melhoria de 9,7% atingindo uma precisão de 80,7%;
• Melhorar a precisão de 80% para 85,4%;

10. • Calculo da representação vetorial de uma frase
através de um esquema em árvore binária. A
frase é dividida em palavras, e o sistema vai
analisá-la de forma ascendente.
• Cada palavra é representada por um vetor e,
posteriormente, o vetor representativo do nó
da árvore é calculado tendo em conta os
vetores das palavras que lhe estão associadas.
Figura 7: Classificação de sentimentos
através do modelo neuronal recursivos

11. • Cálculo dos vetores no nós da árvore
• Adição do tensor V para dividir as frases de forma bilinear
)
)

12. 5. EXEMPLIFICAÇÃO
Figura 8: Análise do sentimento na frase - I had a terrible experience and I
will never come back to this horrible restaurant

13. Figura 9: Análise do sentimento na frase - I love that movie.

14. 6. CONCLUSÃO
• A análise de sentimentos é uma técnica em franca expansão e com uma
aplicabilidade cada vez maior;
• Tanto os consumidores como as empresas se interessam por ter feedback
dos produtos e/ ou serviços que pretendem adquirir ou colocar à disposição
do público;
• Desenvolvimentos deste tipo de modelos é essencial para que a análise de
sentimentos seja cada vez mais eficazes e eficientes.

15. https://nlp.stanford.edu/sentiment/treebank.h
tml