O documento discute sistemas de recomendação, incluindo técnicas como filtragem colaborativa e baseada em conteúdo, problemas comuns e desafios, e algoritmos como KNN e TF-IDF. Ele também fornece exemplos de casos e recursos para começar a desenvolver sistemas de recomendação.
A rede mundial de computadores vivencia o processo de transformação de um “mar de
documentos” em um “mar de conhecimento”, sistemas que entendam como fazer o melhor uso
da informação, representa um “conselheiro” para os usuários, passando a conquistar sua con-
fiança e possibilitando o aumento de valores de vendas para as empresas, através da qualidade
das recomendações apresentadas.
A rede mundial de computadores vivencia o processo de transformação de um “mar de
documentos” em um “mar de conhecimento”, sistemas que entendam como fazer o melhor uso
da informação, representa um “conselheiro” para os usuários, passando a conquistar sua con-
fiança e possibilitando o aumento de valores de vendas para as empresas, através da qualidade
das recomendações apresentadas.
Sistemas recomendacao para Marketing e PropagandaMarcel Caraciolo
Palestra ministrada no Curso de Publicidade e Propaganda da Universidade Federal de Pernambuco sobre Sistemas de Recomendação: Uma abordagem geral para Publicidade e Propaganda na disciplina de Oportunidades e Negócios em 23.05.2011.
Apresentação realizada em 27 de fevereiro de 2015, no município de São Carlos/SP, como requisito parcial para obtenção do título de "Mestre em Ciência da Computação" concedido pela Universidade Federal de São Carlos (UFSCar).
Minicurso de 3 dias sobre um pouco da teoria em sistemas de recomendação e uso do framework mahout no desenvolvimento dos mesmos.
Esse minicurso faz parte de um dos trabalhos realizados no projeto de cooperação em sistemas inteligentes em nuvem entre o Instituto Nokia de Tecnologia(INdT) e o Instituto de Computação(IComp) da Universidade Federal do Amazonas(UFAM).
Minicurso de 3 dias sobre um pouco da teoria em sistemas de recomendação e uso do framework mahout no desenvolvimento dos mesmos.
Esse minicurso faz parte de um dos trabalhos realizados no projeto de cooperação em sistemas inteligentes em nuvem entre o Instituto Nokia de Tecnologia(INdT) e o Instituto de Computação(IComp) da Universidade Federal do Amazonas(UFAM).
Past, Present & Future of Recommender Systems: An Industry PerspectiveJustin Basilico
Slides from our talk at the RecSys 2016 conference in Boston, MA 2016-09-18 on our perspective for what are important areas for future work in recommender systems.
Our objective for the Netflix recommendation engine is to create a personalized experience for our members, making it easier for them to find a video to watch and enjoy. When a member logs on to the service, she/he may be in one or a combination of different watching modes: discovering a new content to watch, continuing to watch a partially-watched movie or a TV show she/he has been binging on, playing one of the contents she/he had put in her play list during an earlier session, etc. If, for example, we can reasonably predict when a member is more likely to be in the continuation mode, and which videos she/he is more likely to resume, it makes sense to place those videos in more prominent places of the home page. In this talk we focus on understanding the discovery vs. continuation behavior and explain how we have used machine learning to improve the member experience by learning a personalized balance between those two modes. As a case study, we focus on a recent change on the personalization of a row of recommendations called “Continue Watching,” which appears on the main page of the Netflix member homepage on the website and the app and currently drives a significant proportion of member streaming hours.
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...André Leon S. Gradvohl
This is the second of a two part presentation about on line distributed systems for data stream processing. It was presented at VI Escola Regional de Alto Desempenho, UNESP, São José do Rio Preto-SP. File in Portuguese.
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
Sistemas recomendacao para Marketing e PropagandaMarcel Caraciolo
Palestra ministrada no Curso de Publicidade e Propaganda da Universidade Federal de Pernambuco sobre Sistemas de Recomendação: Uma abordagem geral para Publicidade e Propaganda na disciplina de Oportunidades e Negócios em 23.05.2011.
Apresentação realizada em 27 de fevereiro de 2015, no município de São Carlos/SP, como requisito parcial para obtenção do título de "Mestre em Ciência da Computação" concedido pela Universidade Federal de São Carlos (UFSCar).
Minicurso de 3 dias sobre um pouco da teoria em sistemas de recomendação e uso do framework mahout no desenvolvimento dos mesmos.
Esse minicurso faz parte de um dos trabalhos realizados no projeto de cooperação em sistemas inteligentes em nuvem entre o Instituto Nokia de Tecnologia(INdT) e o Instituto de Computação(IComp) da Universidade Federal do Amazonas(UFAM).
Minicurso de 3 dias sobre um pouco da teoria em sistemas de recomendação e uso do framework mahout no desenvolvimento dos mesmos.
Esse minicurso faz parte de um dos trabalhos realizados no projeto de cooperação em sistemas inteligentes em nuvem entre o Instituto Nokia de Tecnologia(INdT) e o Instituto de Computação(IComp) da Universidade Federal do Amazonas(UFAM).
Past, Present & Future of Recommender Systems: An Industry PerspectiveJustin Basilico
Slides from our talk at the RecSys 2016 conference in Boston, MA 2016-09-18 on our perspective for what are important areas for future work in recommender systems.
Our objective for the Netflix recommendation engine is to create a personalized experience for our members, making it easier for them to find a video to watch and enjoy. When a member logs on to the service, she/he may be in one or a combination of different watching modes: discovering a new content to watch, continuing to watch a partially-watched movie or a TV show she/he has been binging on, playing one of the contents she/he had put in her play list during an earlier session, etc. If, for example, we can reasonably predict when a member is more likely to be in the continuation mode, and which videos she/he is more likely to resume, it makes sense to place those videos in more prominent places of the home page. In this talk we focus on understanding the discovery vs. continuation behavior and explain how we have used machine learning to improve the member experience by learning a personalized balance between those two modes. As a case study, we focus on a recent change on the personalization of a row of recommendations called “Continue Watching,” which appears on the main page of the Netflix member homepage on the website and the app and currently drives a significant proportion of member streaming hours.
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...André Leon S. Gradvohl
This is the second of a two part presentation about on line distributed systems for data stream processing. It was presented at VI Escola Regional de Alto Desempenho, UNESP, São José do Rio Preto-SP. File in Portuguese.
ASP.Net Performance – A pragmatic approach - Luis PaulinoComunidade NetPonto
Nesta sessão abordamos a performance de Sistemas de Informação desenvolvidos na plataforma ASP.NET com recurso a SQL Server com SGBD. Iremos explicar como surgem os problemas de performance em sistemas com alguns anos de existência e qual a abordagem a tomar, quando temos utilizadores insatisfeitos.
Abordaremos também alguns casos de sucesso no mercado a nível de sistemas de alta disponibilidade e como o mercado tem evoluído. De uma forma geral, pretendemos demonstrar técnicas de análise/tuning de performance em ASP.NET e sua evolução ao longo das várias versões, como também algumas técnicas de requisitos para obtenção e estruturação da informação.
Finalmente, o objetivo passa por divulgar procedimentos, técnicas e ferramentas que sirvam como uma referência que possam ser úteis caso surjam problemas de performance nos nossos sistemas de futuro, entre os quais : Do’s & Dont’s, Systematic Tuning, ASP.NET Trace, VS Profiling Tools, SQL Profiler entre outros.
Aula 01 da disciplina de Laaboratório de Banco de dados, trazendo uma pequena revisão sobre os conceitos básicos, e a modelagem Entidade - Relacioamento
Casos de Uso de Big Data e Ciência de Dados no MercadoJoel Pinho Lucas
Diante do crescente volume de dados e da cada vez maior diversidade de conteúdos na Web, faz-se necessário entender o comportamento de navegação dos usuários para desenvolver e utilizar técnicas de personalização de conteúdo. Dentro deste contexto, esta palestra dará uma visão geral de tecnologias utilizadas atualmente em Big Data, onde também serão debatidos tipos de perfis profissionais e competências técnicas exigidas para trabalhar na área de dados dentro da indústria. O palestrante também compartilhará a experiência no desenvolvimento de algumas arquiteturas de dados ao longo de sua carreira, destacando o desenvolvimento de um sistema de recomendação em uma startup de games e o de uma ferramenta de inteligência de dados aplicada a publicidade digital dentro de uma das maiores bases da dados da América Latina.
Introdução aos sistemas distribuídos on-line para processamento de fluxos de ...André Leon S. Gradvohl
This is the first of a two part presentation about on line distributed systems for data stream processing. It was presented at VI Escola Regional de Alto Desempenho, UNESP, São José do Rio Preto-SP. File in Portuguese.
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...Gleicon Moraes
Apresentação com Renato Lucindo(https://github.com/lucindo) para o DNAD 2015 Esta apresentação é uma evolução do material que apresentamos anteriormente na QCon.
Data Science refers to an emerging area of work concerned with the collection, preparation, analysis, visualization, management, and preservation of large collections of information. Although the name Data Science seems to connect most strongly with areas such as databases and computer science, many different kinds of skills - including non-mathematical skills - are needed.
Data science includes data analysis as an important component of the skill set required for many jobs in this area, but is not the only necessary skill.
Apresentação dada na 3a. Semana da Física do Instituto de Física da USP São Carlos.
Nela mostro como os físicos podem atuar nesta nova área que vem surgido nos últimos anos, e um exemplo de como esse conhecimento pode ser usado.
2. Agenda
• Big Data e Sistemas de Recomendação (SR)
• Técnicas utilizadas em SR
• Principais problemas e desafios em SR
• Algoritmos utilizados
• Cases
• Como começar a desenvolver SR?
2
3. Big Data (Volume) - Sistemas de Recomendação
2/3 dos filmes acessados no Netflix são originados de
recomendações (Celma & Lamere - ISMIR 2007)
O volume de informação no mundo ocuparia o equivalente a 295 trilhões de megabytes
(University of Southern California - 2011)
3
4. Big Data (Velocidade) - Sistemas de Recomendação
• Análise de dados:
✓ Processamento em “batch”
✓ Processamento em tempo real
4
5. Sistemas de Recomendação
• Cenário em E-Commerce:
✓A “explosão da informação” resultou em uma enorme
quantidade de itens ao alcance do usuário
✓Dificuldade na escolha para compra de produtos
✓Falta de personalização
✓Email / SPAM
5
6. Sistemas de Recomendação
• 35% das compras na Amazon.com são originadas por recomendações
(Celma & Lamere - ISMIR 2007)
6
“Se tenho 3 milhões de clientes na Web,
tenho de ter 3 milhões de lojas on-line” Jeff
Bezos, Fundador da amazon.com
7. Técnicas Utilizadas em SR
✓Métodos baseados em Conteúdo (CB):
!
!
!
✓Filtragem Colaborativa (CF):
‣ Baseada em Usuário
‣ Baseada em Item
7
9. Técnicas Utilizadas em SR
Figura: Recomendação baseada em Item - Filtragem Colaborativa (Amazon.com,)
9
10. Técnicas Utilizadas em SR
Figura: Recomendação baseada em Usuário - Filtragem Colaborativa (Netflix.com)
10
11. 11
“É complexo definir similaridade, mas…
você sabe quando você a vê.” (Dr. E. Keogh)
12. • Falsos Positivos x Falsos Negativos
• Implementação própria x Frameworks + tools (ex.:
Mahout)
!
• Processamento em “batch" x Tempo Real
12
Problemas e Desafios
13. Problemas e Desafios
• Dispersão de dados (sparsity): usuários conseguem
avaliar (rating) em média1% dos itens disponíveis
(Breese, et. al. - 2010)
• Escalabilidade
• Ovelha Negra
• Primeiro Rating (early-rater)
13
18. Algoritmos de CF - Conceito Geral
18
a) Matriz User-Item
b) User rating document no MongoDB
✦ CF: predizer ratings do usuário ativo para cada produto com base
nos ratings de outros usuários
19. Algoritmos de CF - KNN
19
✦ K-Nearest User Neighborhood (KNN): buscar os K vizinhos mais
próximos
• Input: vetores de ratings de usuários
• Output: os k vizinhos mais próximos
• Recomendação: top ratings de k
20. Algoritmos de CF - Regras de Associação
20
• Encontrar conjuntos de itens (frequent itemsets) que ocorram juntos em um
conjunto de dados
• Em SR: se item A e B estão relacionados, então recomendar item B se
User1 gostou de item A
Tabela 1: Exemplo de um conjunto de transações
Tabela 2: Possíveis regras a partir de T1
22. Algoritmos - Scaling out
22
• TFIDF: dividir conjuntos de documentos para realizar o
processamentos dos vetores de palavras
!
• KNN e Conjunto de Itens Frequentes: paralelizar o
cruzamento de dados utilizando Map-Reduce
!
!
!
!
!