SlideShare uma empresa Scribd logo
1 de 17
Processamento
de Linguagem
Natural
GUSTAVO GATTASS AYUB 25/05/20
Processamento de Linguagem Natural
NLP (Natural Language Processing)
Desafios
• Reconhecimento de voz
• A compreensão de linguagem natural
• A geração de linguagem natural
Entendendo como funciona?
1. Uma pessoa diz algo para a máquina
2. A máquina produz um arquivo de áudio
3. O arquivo de áudio é convertido em texto
4. O texto é quebrado em componentes. O
sistema compreende o contexto da
conversa e a intenção da pessoa
5. Com base no resultado o sistema decida
qual ação deve ser realizada
Histórico
NLP
1950
• Teste de Turing
• Experimento Georgetown
Até 1980
• Sistemas baseados em
regras
• Métodos estatísticos
aplicados a tradução
A partir de 1980
• Machine Learning
• Linguística (Chomsky)
A partir de 2010
• Representation Learning
• Deep Learning
2017 (Paridade Homem-Máquina)
• Reconhecimento de voz
2018 (Paridade Homem-Máquina)
• Na tradução de textos
• Na compreensão de textos
2019
• Primeiro livro compilado por IA
Principais aplicações
• Reconhecimento de voz
• Tradução de textos
• Chatbots (e Voicebots)
• Classificação de Texto
• Busca semântica
• Correção de texto
• Análise de sentimento
• Extração e sumarização de informação
• Computação afetiva
“Saco” de palavras e Classificação de Texto
• Desafios
• Prever etiquetas (tags) ou categorias
• Prever um sentimento
• Filtro de spam (email)
Texto como uma sequência
• Desafios
• Prever sequências de palavras
• Prever etiquetas (tags) em sequências de palavras
• Aplicações
• Chatbots
• Tradução
• Sumarização
• Reconhecimento de Voz
Representação de significado
• Como representar o sentido de uma palavra, sentença ou texto?
• Word Embedding
• Sentence Embedding
Desafios em NLP
• Morfologia
• Sintática
• Semântica
• Pragmática
https://towardsdatascience.com/linguistic-knowledge-in-natural-language-processing-332630f43ce1
Recursos Disponíveis
• Soluções
• APIs (Azure Cognitive Services, AWS AI Services, Google Cloud AI)
• Bibliotecas
Soluções
• Aplicação de NLP em problemas de negócio
• Jurimetria, Auditoria
• Bases de conhecimento e recomendação
• Sistemas especialistas
• Ferramentas
• Busca
• Correção
• Tradução
Bibliotecas
• Python
• NLTK
• Gensim
• spaCy
• Pattern
• TextBlob
• R
• OpenNLP
• Rweka
• Tm
• languageR
• koRpus
• RKEA
Processamento de Linguagem Natural

Mais conteúdo relacionado

Mais procurados

Natural Language Processing
Natural Language Processing Natural Language Processing
Natural Language Processing Adarsh Saxena
 
Natural language procssing
Natural language procssing Natural language procssing
Natural language procssing Rajnish Raj
 
Natural language processing and transformer models
Natural language processing and transformer modelsNatural language processing and transformer models
Natural language processing and transformer modelsDing Li
 
A Panorama of Natural Language Processing
A Panorama of Natural Language ProcessingA Panorama of Natural Language Processing
A Panorama of Natural Language ProcessingTed Xiao
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language ProcessingToine Bogers
 
Introduction to natural language processing (NLP)
Introduction to natural language processing (NLP)Introduction to natural language processing (NLP)
Introduction to natural language processing (NLP)Alia Hamwi
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language Processingsaurabhnarhe
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language ProcessingVeenaSKumar2
 
Introduction to text to speech
Introduction to text to speechIntroduction to text to speech
Introduction to text to speechBilgin Aksoy
 
Lecture: Question Answering
Lecture: Question AnsweringLecture: Question Answering
Lecture: Question AnsweringMarina Santini
 
Big Data and Natural Language Processing
Big Data and Natural Language ProcessingBig Data and Natural Language Processing
Big Data and Natural Language ProcessingMichel Bruley
 
Introduction to Natural Language Processing
Introduction to Natural Language ProcessingIntroduction to Natural Language Processing
Introduction to Natural Language Processingrohitnayak
 
Introduction to Natural Language Processing (NLP)
Introduction to Natural Language Processing (NLP)Introduction to Natural Language Processing (NLP)
Introduction to Natural Language Processing (NLP)VenkateshMurugadas
 
Introduction to natural language processing, history and origin
Introduction to natural language processing, history and originIntroduction to natural language processing, history and origin
Introduction to natural language processing, history and originShubhankar Mohan
 
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingMinh Pham
 

Mais procurados (20)

Natural Language Processing
Natural Language Processing Natural Language Processing
Natural Language Processing
 
NLP
NLPNLP
NLP
 
Natural language procssing
Natural language procssing Natural language procssing
Natural language procssing
 
Natural language processing and transformer models
Natural language processing and transformer modelsNatural language processing and transformer models
Natural language processing and transformer models
 
A Panorama of Natural Language Processing
A Panorama of Natural Language ProcessingA Panorama of Natural Language Processing
A Panorama of Natural Language Processing
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language Processing
 
NLP
NLPNLP
NLP
 
Introduction to natural language processing (NLP)
Introduction to natural language processing (NLP)Introduction to natural language processing (NLP)
Introduction to natural language processing (NLP)
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language Processing
 
Natural Language Processing
Natural Language ProcessingNatural Language Processing
Natural Language Processing
 
Introduction to text to speech
Introduction to text to speechIntroduction to text to speech
Introduction to text to speech
 
Lecture: Question Answering
Lecture: Question AnsweringLecture: Question Answering
Lecture: Question Answering
 
Word2Vec
Word2VecWord2Vec
Word2Vec
 
NLP PPT.pptx
NLP PPT.pptxNLP PPT.pptx
NLP PPT.pptx
 
Big Data and Natural Language Processing
Big Data and Natural Language ProcessingBig Data and Natural Language Processing
Big Data and Natural Language Processing
 
Introduction to Natural Language Processing
Introduction to Natural Language ProcessingIntroduction to Natural Language Processing
Introduction to Natural Language Processing
 
Introduction to Natural Language Processing (NLP)
Introduction to Natural Language Processing (NLP)Introduction to Natural Language Processing (NLP)
Introduction to Natural Language Processing (NLP)
 
Introduction to natural language processing, history and origin
Introduction to natural language processing, history and originIntroduction to natural language processing, history and origin
Introduction to natural language processing, history and origin
 
Natural language processing
Natural language processingNatural language processing
Natural language processing
 
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
 

Semelhante a Processamento de Linguagem Natural

Linguística computacional - Tech Week
Linguística computacional - Tech WeekLinguística computacional - Tech Week
Linguística computacional - Tech WeekBruno Guide
 
Processamento Automático da Língua Portuguesa - Campus Party Br 6
Processamento Automático da Língua Portuguesa - Campus Party Br 6Processamento Automático da Língua Portuguesa - Campus Party Br 6
Processamento Automático da Língua Portuguesa - Campus Party Br 6William Colen
 
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdfAnatalia Saraiva Martins Ramos
 
O ABC das CAT's: O que você nunca se atreveu a perguntar
O ABC das CAT's: O que você nunca se atreveu a perguntarO ABC das CAT's: O que você nunca se atreveu a perguntar
O ABC das CAT's: O que você nunca se atreveu a perguntarJorge Davidson
 
PHP Experience - Bots Landscape
PHP Experience - Bots LandscapePHP Experience - Bots Landscape
PHP Experience - Bots LandscapeAdriano Almeida
 
Processamento Automático da Língua Portuguesa: DevInSampa 2011
Processamento Automático da Língua Portuguesa: DevInSampa 2011Processamento Automático da Língua Portuguesa: DevInSampa 2011
Processamento Automático da Língua Portuguesa: DevInSampa 2011William Colen
 
Python e Aprendizagem de Máquina (Inteligência Artificial)
Python e Aprendizagem de Máquina (Inteligência Artificial)Python e Aprendizagem de Máquina (Inteligência Artificial)
Python e Aprendizagem de Máquina (Inteligência Artificial)Marcel Caraciolo
 
Resolvendo problemas de inteligência artificial e reconhecimento óptico com php
Resolvendo problemas de inteligência artificial e reconhecimento óptico com phpResolvendo problemas de inteligência artificial e reconhecimento óptico com php
Resolvendo problemas de inteligência artificial e reconhecimento óptico com phpRodrigo Wanderley de Melo Cardoso
 
Brandon, um ChatBot com NLP em Ruby
Brandon, um ChatBot com NLP em RubyBrandon, um ChatBot com NLP em Ruby
Brandon, um ChatBot com NLP em RubyEderson de Lima
 
20161006cognitivelinkvidsmall
20161006cognitivelinkvidsmall20161006cognitivelinkvidsmall
20161006cognitivelinkvidsmallAlberto Miyazaki
 
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...Leinylson Fontinele
 
Sistemas de Processamento de Linguagem Natural na Prática
Sistemas de Processamento de Linguagem Natural na PráticaSistemas de Processamento de Linguagem Natural na Prática
Sistemas de Processamento de Linguagem Natural na PráticaWilliam Colen
 
Apresentação da Qualificação - Mestrado UFMG Ciência da Informação
Apresentação da Qualificação - Mestrado UFMG Ciência da InformaçãoApresentação da Qualificação - Mestrado UFMG Ciência da Informação
Apresentação da Qualificação - Mestrado UFMG Ciência da InformaçãoJunior Grossi
 
As ferramentas, os percursos e as estratégias de tradução no universo digital...
As ferramentas, os percursos e as estratégias de tradução no universo digital...As ferramentas, os percursos e as estratégias de tradução no universo digital...
As ferramentas, os percursos e as estratégias de tradução no universo digital...Diogoncosta
 
Apresentação sobre Linguística computacional e recuperação da informação no E...
Apresentação sobre Linguística computacional e recuperação da informação no E...Apresentação sobre Linguística computacional e recuperação da informação no E...
Apresentação sobre Linguística computacional e recuperação da informação no E...NGPTI - UFG
 
Programando em Elixir
Programando em ElixirProgramando em Elixir
Programando em ElixirAdolfo Neto
 
Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?Sandro Moreira
 

Semelhante a Processamento de Linguagem Natural (20)

Linguística computacional - Tech Week
Linguística computacional - Tech WeekLinguística computacional - Tech Week
Linguística computacional - Tech Week
 
Processamento Automático da Língua Portuguesa - Campus Party Br 6
Processamento Automático da Língua Portuguesa - Campus Party Br 6Processamento Automático da Língua Portuguesa - Campus Party Br 6
Processamento Automático da Língua Portuguesa - Campus Party Br 6
 
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf
2023_Enanpad_Workshop Ferramentas de IA na Pesquisa.pdf
 
Félix do Carmo e Luís Trigo - Tradutores e máquinas de tradução
Félix do Carmo e Luís Trigo - Tradutores e máquinas de traduçãoFélix do Carmo e Luís Trigo - Tradutores e máquinas de tradução
Félix do Carmo e Luís Trigo - Tradutores e máquinas de tradução
 
Introducao aos servicos de AI na AWS
Introducao aos servicos de AI na AWSIntroducao aos servicos de AI na AWS
Introducao aos servicos de AI na AWS
 
O ABC das CAT's: O que você nunca se atreveu a perguntar
O ABC das CAT's: O que você nunca se atreveu a perguntarO ABC das CAT's: O que você nunca se atreveu a perguntar
O ABC das CAT's: O que você nunca se atreveu a perguntar
 
PHP Experience - Bots Landscape
PHP Experience - Bots LandscapePHP Experience - Bots Landscape
PHP Experience - Bots Landscape
 
Processamento Automático da Língua Portuguesa: DevInSampa 2011
Processamento Automático da Língua Portuguesa: DevInSampa 2011Processamento Automático da Língua Portuguesa: DevInSampa 2011
Processamento Automático da Língua Portuguesa: DevInSampa 2011
 
Python e Aprendizagem de Máquina (Inteligência Artificial)
Python e Aprendizagem de Máquina (Inteligência Artificial)Python e Aprendizagem de Máquina (Inteligência Artificial)
Python e Aprendizagem de Máquina (Inteligência Artificial)
 
Resolvendo problemas de inteligência artificial e reconhecimento óptico com php
Resolvendo problemas de inteligência artificial e reconhecimento óptico com phpResolvendo problemas de inteligência artificial e reconhecimento óptico com php
Resolvendo problemas de inteligência artificial e reconhecimento óptico com php
 
Brandon, um ChatBot com NLP em Ruby
Brandon, um ChatBot com NLP em RubyBrandon, um ChatBot com NLP em Ruby
Brandon, um ChatBot com NLP em Ruby
 
20161006cognitivelinkvidsmall
20161006cognitivelinkvidsmall20161006cognitivelinkvidsmall
20161006cognitivelinkvidsmall
 
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...
DESENVOLVIMENTO E AVALIAÇÃO DE DESEMPENHO DO MECANISMO DE RECONHECIMENTO AUTO...
 
Belinda Maia - Introdução à tradução automática
Belinda Maia - Introdução à tradução automáticaBelinda Maia - Introdução à tradução automática
Belinda Maia - Introdução à tradução automática
 
Sistemas de Processamento de Linguagem Natural na Prática
Sistemas de Processamento de Linguagem Natural na PráticaSistemas de Processamento de Linguagem Natural na Prática
Sistemas de Processamento de Linguagem Natural na Prática
 
Apresentação da Qualificação - Mestrado UFMG Ciência da Informação
Apresentação da Qualificação - Mestrado UFMG Ciência da InformaçãoApresentação da Qualificação - Mestrado UFMG Ciência da Informação
Apresentação da Qualificação - Mestrado UFMG Ciência da Informação
 
As ferramentas, os percursos e as estratégias de tradução no universo digital...
As ferramentas, os percursos e as estratégias de tradução no universo digital...As ferramentas, os percursos e as estratégias de tradução no universo digital...
As ferramentas, os percursos e as estratégias de tradução no universo digital...
 
Apresentação sobre Linguística computacional e recuperação da informação no E...
Apresentação sobre Linguística computacional e recuperação da informação no E...Apresentação sobre Linguística computacional e recuperação da informação no E...
Apresentação sobre Linguística computacional e recuperação da informação no E...
 
Programando em Elixir
Programando em ElixirProgramando em Elixir
Programando em Elixir
 
Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?Deep Learning do Zero ao Impossível: Qual o caminho?
Deep Learning do Zero ao Impossível: Qual o caminho?
 

Mais de Gustavo Gattass Ayub

Primeiros passos rumo a ciência de dados
Primeiros passos rumo a ciência de dadosPrimeiros passos rumo a ciência de dados
Primeiros passos rumo a ciência de dadosGustavo Gattass Ayub
 
Perspectives for the Factory of the Future (ABII 8o encontro)
Perspectives for the Factory of the Future (ABII 8o encontro)Perspectives for the Factory of the Future (ABII 8o encontro)
Perspectives for the Factory of the Future (ABII 8o encontro)Gustavo Gattass Ayub
 
Lidere com Inteligência Artificial (Neoway DDB 2019)
Lidere com Inteligência Artificial (Neoway DDB 2019)Lidere com Inteligência Artificial (Neoway DDB 2019)
Lidere com Inteligência Artificial (Neoway DDB 2019)Gustavo Gattass Ayub
 
AI: Disruptive Technology (Redpoint eventures Summit 2019)
AI: Disruptive Technology (Redpoint eventures Summit 2019)AI: Disruptive Technology (Redpoint eventures Summit 2019)
AI: Disruptive Technology (Redpoint eventures Summit 2019)Gustavo Gattass Ayub
 
TM Forum 2014: Insights at your fingertips
TM Forum 2014: Insights at your fingertipsTM Forum 2014: Insights at your fingertips
TM Forum 2014: Insights at your fingertipsGustavo Gattass Ayub
 
Performance Management: How Technology is Changing the Game
Performance Management: How Technology is Changing the GamePerformance Management: How Technology is Changing the Game
Performance Management: How Technology is Changing the GameGustavo Gattass Ayub
 
1o WorkSOT (CHESF) - Inteligência Artificial
1o WorkSOT (CHESF) - Inteligência Artificial1o WorkSOT (CHESF) - Inteligência Artificial
1o WorkSOT (CHESF) - Inteligência ArtificialGustavo Gattass Ayub
 

Mais de Gustavo Gattass Ayub (7)

Primeiros passos rumo a ciência de dados
Primeiros passos rumo a ciência de dadosPrimeiros passos rumo a ciência de dados
Primeiros passos rumo a ciência de dados
 
Perspectives for the Factory of the Future (ABII 8o encontro)
Perspectives for the Factory of the Future (ABII 8o encontro)Perspectives for the Factory of the Future (ABII 8o encontro)
Perspectives for the Factory of the Future (ABII 8o encontro)
 
Lidere com Inteligência Artificial (Neoway DDB 2019)
Lidere com Inteligência Artificial (Neoway DDB 2019)Lidere com Inteligência Artificial (Neoway DDB 2019)
Lidere com Inteligência Artificial (Neoway DDB 2019)
 
AI: Disruptive Technology (Redpoint eventures Summit 2019)
AI: Disruptive Technology (Redpoint eventures Summit 2019)AI: Disruptive Technology (Redpoint eventures Summit 2019)
AI: Disruptive Technology (Redpoint eventures Summit 2019)
 
TM Forum 2014: Insights at your fingertips
TM Forum 2014: Insights at your fingertipsTM Forum 2014: Insights at your fingertips
TM Forum 2014: Insights at your fingertips
 
Performance Management: How Technology is Changing the Game
Performance Management: How Technology is Changing the GamePerformance Management: How Technology is Changing the Game
Performance Management: How Technology is Changing the Game
 
1o WorkSOT (CHESF) - Inteligência Artificial
1o WorkSOT (CHESF) - Inteligência Artificial1o WorkSOT (CHESF) - Inteligência Artificial
1o WorkSOT (CHESF) - Inteligência Artificial
 

Processamento de Linguagem Natural

  • 2. Processamento de Linguagem Natural NLP (Natural Language Processing)
  • 3. Desafios • Reconhecimento de voz • A compreensão de linguagem natural • A geração de linguagem natural
  • 4. Entendendo como funciona? 1. Uma pessoa diz algo para a máquina 2. A máquina produz um arquivo de áudio 3. O arquivo de áudio é convertido em texto 4. O texto é quebrado em componentes. O sistema compreende o contexto da conversa e a intenção da pessoa 5. Com base no resultado o sistema decida qual ação deve ser realizada
  • 5. Histórico NLP 1950 • Teste de Turing • Experimento Georgetown Até 1980 • Sistemas baseados em regras • Métodos estatísticos aplicados a tradução A partir de 1980 • Machine Learning • Linguística (Chomsky) A partir de 2010 • Representation Learning • Deep Learning 2017 (Paridade Homem-Máquina) • Reconhecimento de voz 2018 (Paridade Homem-Máquina) • Na tradução de textos • Na compreensão de textos 2019 • Primeiro livro compilado por IA
  • 6. Principais aplicações • Reconhecimento de voz • Tradução de textos • Chatbots (e Voicebots) • Classificação de Texto • Busca semântica • Correção de texto • Análise de sentimento • Extração e sumarização de informação • Computação afetiva
  • 7.
  • 8.
  • 9. “Saco” de palavras e Classificação de Texto • Desafios • Prever etiquetas (tags) ou categorias • Prever um sentimento • Filtro de spam (email)
  • 10. Texto como uma sequência • Desafios • Prever sequências de palavras • Prever etiquetas (tags) em sequências de palavras • Aplicações • Chatbots • Tradução • Sumarização • Reconhecimento de Voz
  • 11. Representação de significado • Como representar o sentido de uma palavra, sentença ou texto? • Word Embedding • Sentence Embedding
  • 12. Desafios em NLP • Morfologia • Sintática • Semântica • Pragmática https://towardsdatascience.com/linguistic-knowledge-in-natural-language-processing-332630f43ce1
  • 13.
  • 14. Recursos Disponíveis • Soluções • APIs (Azure Cognitive Services, AWS AI Services, Google Cloud AI) • Bibliotecas
  • 15. Soluções • Aplicação de NLP em problemas de negócio • Jurimetria, Auditoria • Bases de conhecimento e recomendação • Sistemas especialistas • Ferramentas • Busca • Correção • Tradução
  • 16. Bibliotecas • Python • NLTK • Gensim • spaCy • Pattern • TextBlob • R • OpenNLP • Rweka • Tm • languageR • koRpus • RKEA