O documento apresenta várias funcionalidades de processamento de linguagem natural em Node.js usando a biblioteca Natural, incluindo tokenização, distância de string, raiz de palavra, classificação, fonética, pluralização/singularização, n-gramas, tf-idf e WordNet.

1. rodrigo matheus
rodrigorizando.com
rodrigorizando@gmail.com
Node Natural

2. Node Natural:
Shake especial para programadores

5. http://www.youtube.com/watch?v=mPOQTskNEbk

6. 90% dos dados no mundo foram
gerados nos últimos 2 anos

7. já reclamou no Reclame Aqui?

8. já fez post em algum blog?

9. já fez algum comentário em site ou blog?

10. já abriu chamado para reclamar da operadora?

11. tweets? post na timeline? selfie?

12. semi-estruturadonão estruturado estruturado

13. 99% do que escrevemos
são dados não estruturado

14. 80% das informações no mundo
são dados não estruturado

15. pln

16. pln = nlp
processamento de
linguagem natural
natural language
processing

17. ☻ Extração de informação
☻ Recuperação de informação
☻ Tradução automática
☻ Geração Automática de Texto
☻ Geração de linguagem natural
☻ Interpretação de linguagem natural
☻ Simplificação de texto
☻ Correção ortográfica.
☻ Reconhecimento Vocal
☻ Reconhecimento de Escritura Manuscrita

18. como faz isto em node.js?

19. com Natural
Processamento de linguagem natural

20. npm install natural

21. Tokenizer
var natural = require('natural');
var tokenizer = new natural.WordTokenizer();
console.log(tokenizer.tokenize("your dog has flees."));
// [ 'your', 'dog', 'has', 'flees' ]

22. String Distance
var natural = require('natural');
console.log(natural.JaroWinklerDistance("dixon","dicksonx"))
console.log(natural.JaroWinklerDistance('not', ‘same'));
// 0.7466666666666666
// 0

23. Stemmer
var natural = require('natural');
console.log(natural.PorterStemmer.stem(“words"));
// word

24. Classifiers
var natural = require('natural’);
var classifier = new natural.BayesClassifier();
classifier.addDocument(‘eu quero, 'buy');
classifier.addDocument(‘vou comprar, 'buy');
classifier.addDocument(‘vendo, 'sell');
classifier.addDocument(‘promoção, 'sell');
classifier.train();
console.log(classifier.classify(‘iPhone em promoção, aproveite.));
// sell
console.log(classifier.classify(‘vou comprar hoje o iphone));
// buy

25. Phonetics
var natural = require('natural’);
var metaphone = natural.Metaphone, soundEx = natural.SoundEx;
var wordA = 'phonetics';
var wordB = 'fonetix';
if(metaphone.compare(wordA, wordB)){
console.log(‘Eles são iguais);
}

26. Pluralized/Singularized
var natural = require('natural’);
var nounInflector = new natural.NounInflector();
console.log(nounInflector.pluralize('radius'));
// radii
console.log(nounInflector.singularize('beers'));
// beer

27. Pluralized/Singularized
var natural = require('natural’);
var nounInflector = new natural.NounInflector();
console.log(nounInflector.pluralize('radius'));
// radii
console.log(nounInflector.singularize('beers'));
// beer

28. N-Grams
var natural = require('natural’);
var NGrams = natural.NGrams;
console.log(NGrams.bigrams('some words here'));
// [ [ 'some', 'words' ], [ 'words', 'here' ] ]
console.log(NGrams.trigrams(['some', 'other', 'words', 'here']));
// [ [ 'some', 'other', 'words' ], [ 'other', 'words', 'here' ] ]

29. tf-idf
var natural = require('natural’);
var TfIdf = natural.TfIdf;
var tfidf = new TfIdf();
tfidf.addDocument('this document is about node.');
tfidf.addDocument('this document is about ruby.');
tfidf.addDocument('this document is about node. it has node examples');
tfidf.tfidfs('node', function(i, measure) {
console.log('document #' + i + ' is ' + measure);
});
// document #0 is 1.4469189829363254
// document #1 is 0
// document #3 is 2.8938379658726507

30. WordNet
// npm install WNdb
var wordnet = new natural.WordNet();
wordnet.lookup('node', function(results) {
results.forEach(function(result) {
console.log('------------------------------------');
console.log(result.synsetOffset);
console.log(result.pos);
console.log(result.lemma);
console.log(result.synonyms);
console.log(result.pos);
console.log(result.gloss);
});
});

31. obrigado!
rodrigorizando.com
rodrigorizando@gmail.com
@rodrigorizando