O documento discute sistemas de recomendação, incluindo conceitos básicos, tipos como recomendação baseada em conteúdo e filtragem colaborativa, e exemplos como o sistema de recomendação da Netflix. Ele também aborda desafios como escassez de dados e cold start para novos usuários.
[Jose Ahirton Lopes] Algoritmos de Recomendacao IIAhirton Lopes
Apresentação com o título "Motores de Recomendação - O que são? Onde vivem? Do que se alimentam?" feita no evento "Datafest 2018", maior evento de Data Science e Data Engineering do interior de São Paulo, organizado pelo GDG Campinas.
Apresentação com o título "IA e Algoritmos de Recomendação - Chatbots além das respostas prontas" feita no evento "Conferência Bots Brasil", maior evento sobre chatbots do Brasil realizado dia 17/11/2018 (http://conf.botsbrasil.com.br/).
[Jose Ahirton Lopes] Algoritmos de Recomendacao IIAhirton Lopes
Apresentação com o título "Motores de Recomendação - O que são? Onde vivem? Do que se alimentam?" feita no evento "Datafest 2018", maior evento de Data Science e Data Engineering do interior de São Paulo, organizado pelo GDG Campinas.
Apresentação com o título "IA e Algoritmos de Recomendação - Chatbots além das respostas prontas" feita no evento "Conferência Bots Brasil", maior evento sobre chatbots do Brasil realizado dia 17/11/2018 (http://conf.botsbrasil.com.br/).
Apresentação realizada na SECOMP (Semana de Computação) 2011 da Universidade Federal de Sergipe. Breve introdução sobre os conceitos de Sistema de Recomendação com foco nas maiores empresas que utilizam na web.
A rede mundial de computadores vivencia o processo de transformação de um “mar de
documentos” em um “mar de conhecimento”, sistemas que entendam como fazer o melhor uso
da informação, representa um “conselheiro” para os usuários, passando a conquistar sua con-
fiança e possibilitando o aumento de valores de vendas para as empresas, através da qualidade
das recomendações apresentadas.
O que e Neo4j? Surprise? Nessa talk comento um pouco sobre o que são cada uma dessas ferramentas e pq a escolha do uso dela em um sistema de recomendação.
Davi Silva e Izabela Amaral - Oferecendo soluções de negócio mais assertivas ...DevCamp Campinas
Palestra DevCamp 2018 - Davi Silva e Izabela Amaral: Oferecendo soluções de negócio mais assertivas para os usuários de um serviço combinando UX Research + Machine Learning
[Jose Ahirton Lopes] Inteligencia Artificial - Uma Abordagem VisualAhirton Lopes
A inteligência artificial (IA) é um campo multidisciplinar da ciência cujo objetivo é criar máquinas inteligentes; mais especificamente, IA é um multiplicador de forças no progresso tecnológico, tendo em vista nosso mundo cada vez mais digital e orientado a dados. A verdade é que tudo ao nosso redor hoje, desde a cultura até os produtos de consumo, são produtos da inteligência. Nesta apresentação pretende-se demonstrar um pouco do progresso exponencial em IA atual, com foco nos desenvolvimentos mais recentes tais como como Transfer Learning, Real Scene Understanding, Deep Reinforcement Learning, Aplicações em Processamento de Linguagem Natural muito mais, de forma totalmente compreensível e facilitada.
[Jose Ahirton Lopes] ML na Sala de AulaAhirton Lopes
Dados gerados por meio do monitoramento diário de alunos e professores, tanto em ambientes tradicionais de aprendizagem quanto em e-learning, podem ser utilizados para se projetar melhorias relacionadas à educação, como a melhor recomendação de materiais didáticos, criação de planos de estudo personalizados e até gerar previsões sobre o desempenho dos alunos, por exemplo, evitando a evasão dos estudantes. Todas essas tarefas foram atacadas por algoritmos de Aprendizado de Máquina de última geração. Nesta apresentação, teremos uma experiência imersiva com alguns desses projetos e algoritmos, de modo que possamos visualizar o que vem a seguir.
Mais conteúdo relacionado
Semelhante a [Jose Ahirton Lopes] Algoritmos de Recomendacao
Apresentação realizada na SECOMP (Semana de Computação) 2011 da Universidade Federal de Sergipe. Breve introdução sobre os conceitos de Sistema de Recomendação com foco nas maiores empresas que utilizam na web.
A rede mundial de computadores vivencia o processo de transformação de um “mar de
documentos” em um “mar de conhecimento”, sistemas que entendam como fazer o melhor uso
da informação, representa um “conselheiro” para os usuários, passando a conquistar sua con-
fiança e possibilitando o aumento de valores de vendas para as empresas, através da qualidade
das recomendações apresentadas.
O que e Neo4j? Surprise? Nessa talk comento um pouco sobre o que são cada uma dessas ferramentas e pq a escolha do uso dela em um sistema de recomendação.
Davi Silva e Izabela Amaral - Oferecendo soluções de negócio mais assertivas ...DevCamp Campinas
Palestra DevCamp 2018 - Davi Silva e Izabela Amaral: Oferecendo soluções de negócio mais assertivas para os usuários de um serviço combinando UX Research + Machine Learning
[Jose Ahirton Lopes] Inteligencia Artificial - Uma Abordagem VisualAhirton Lopes
A inteligência artificial (IA) é um campo multidisciplinar da ciência cujo objetivo é criar máquinas inteligentes; mais especificamente, IA é um multiplicador de forças no progresso tecnológico, tendo em vista nosso mundo cada vez mais digital e orientado a dados. A verdade é que tudo ao nosso redor hoje, desde a cultura até os produtos de consumo, são produtos da inteligência. Nesta apresentação pretende-se demonstrar um pouco do progresso exponencial em IA atual, com foco nos desenvolvimentos mais recentes tais como como Transfer Learning, Real Scene Understanding, Deep Reinforcement Learning, Aplicações em Processamento de Linguagem Natural muito mais, de forma totalmente compreensível e facilitada.
[Jose Ahirton Lopes] ML na Sala de AulaAhirton Lopes
Dados gerados por meio do monitoramento diário de alunos e professores, tanto em ambientes tradicionais de aprendizagem quanto em e-learning, podem ser utilizados para se projetar melhorias relacionadas à educação, como a melhor recomendação de materiais didáticos, criação de planos de estudo personalizados e até gerar previsões sobre o desempenho dos alunos, por exemplo, evitando a evasão dos estudantes. Todas essas tarefas foram atacadas por algoritmos de Aprendizado de Máquina de última geração. Nesta apresentação, teremos uma experiência imersiva com alguns desses projetos e algoritmos, de modo que possamos visualizar o que vem a seguir.
[Jose Ahirton Lopes] Inteligencia Artificial - Uma Abordagem VisualAhirton Lopes
A inteligência artificial (IA) é um campo multidisciplinar da ciência cujo objetivo é criar máquinas inteligentes; mais especificamente, IA é um multiplicador de forças no progresso tecnológico, tendo em vista nosso mundo cada vez mais digital e orientado a dados. A verdade é que tudo ao nosso redor hoje, desde a cultura até os produtos de consumo, são produtos da inteligência. Nesta apresentação pretende-se demonstrar um pouco do progresso exponencial em IA atual, com foco nos desenvolvimentos mais recentes.
[Jose Ahirton Lopes] ML na sala de aulaAhirton Lopes
Data generated through daily monitoring of students and teachers in both traditional learning and e-learning environments can be used to design education-related improvements such as better recommendation of teaching materials, creation of personalized study plans and even generate predictions about student performance, for example, avoiding student dropout. All of these tasks were attacked by state-of-the-art Machine Learning algorithms. In this presentation, we will have an immersive experience with some of these designs and algorithms, so we can see what comes next.
Quer descobrir se já temos IAs realmente acessíveis? Será que nossos algoritmos têm data de validade? Um aplicação feita em um "país de primeiro mundo" pode realmente resolver problemas do "terceiro mundo"? E se as coisas não forem bem assim, o que estamos fazendo a respeito?
[Jose Ahirton Lopes] O que se espera da tal equipe de dadosAhirton Lopes
Gave the talk "What to expect from the so called Data Squad?" about tendencies and technologies being used in the latest data science projects as well as explaining abou the different roles in a data squad such as Data Scientists, Data Engineers, Data Analysts and Machine Learning Engineers. Auditório João Calvino - Universidade Presbiteriana Mackenzie.
[Jose Ahirton Lopes] Detecção Precoce de Estudantes em Risco de Evasão Usan...Ahirton Lopes
High dropout rates are a serious and quite common problem in many countries around the globe, both in traditional teaching and learning environments, in both private and public education. Higher rates tend to have a negative impact on all profiles involved: students, institutions and the general public; noting that, despite the student's own loss of educational gain that evades, there is also monetary loss to the system in question, social stigma and feelings of inadequacy that may be associated with such dropout, and loss of cultural, social and interpersonal spheres arising from educational processes. Therefore, early detection systems regarding school dropout have gained more prominence, especially regarding the possibility of being a framework for the elaboration of new public policies, while also helping to better understand the probable causes for this dropout. Presented at II Workshop do Programa de Pós-Graduação em Engenharia Elétrica e Computação (II WPPGEEC) - https://sites.google.com/view/upm-wppgeec/p%C3%A1gina-inicial?authuser=0
[Jose Ahirton Lopes] Transfer Learning e GANS 101Ahirton Lopes
Apresentação feita para o evento ODSC 2019 (https://brasil.odsc.com), em sua primeira edição realizada no Brasil, em São Paulo - SP, dia 15 de outubro de 2019.
Parte do conteúdo da palestra "GANS 101 - Fake until you make it?! GANs e Deep Fakes, impactos futuros
e presentes" apresentada no meetup da AI BRasil de número 22 na Movile, dia 14/08/2019.
[Jose Ahirton Lopes] Transfer Learning e GANs 101Ahirton Lopes
Apresentação do dia 05/07/2019 em nosso evento de número 20 da AI Brasil sobre Visão Computacional. Nessa palestra abordo um pouco sobre Transfer Learning e GANs (Generative Adversarial Networks), técnicas cada vez mais utilizadas para a construção de novas imagens com base em conhecimento anterior.
[Jose Ahirton Lopes] ML na Sala de AulaAhirton Lopes
No dia 24/06 palestrei num dos maiores meetups fomentados por empresa na área de IA e Data Science, o da comunidade NuBank Data Science & Machine Learning que acontece no auditório da empresa.
Nesta palestra mostro um pouco do que tem sido feito em IA em prol de melhorias para a Educação a nível global.
[Jose Ahirton Lopes] ML na sala de aulaAhirton Lopes
Slides apresentados durante a palestra "ML na sala de aula: como a IA está mudando a educação em todo o mundo". Nesta apresentação, tivemos uma experiência imersiva com alguns dos projetos mais estado da arte em educação e IA/ML, assim como a demonstração de alguns algoritmos, de modo que pudemos visualizar o que vem a seguir.
[Jose Ahirton lopes] Do Big ao Better DataAhirton Lopes
Dia 09/04/2019 conseguimos lotar a IBM com muito conhecimento sobre Inteligência Artificial, Big Data e Tensorflow e eu estava mais que bem acompanhado pelos excelentes Sergio Gama, Fabio Gandour e Romeo Kienzler.
Nesta apresentação mostro o básico do desenvolvimento em Deep Learning, novas técnicas, aplicações atuais e futuras e faço algumas discussões a respeito do que vem por aí num futuro cada vez mais próximo.
[José Ahirton Lopes e Rafael Arevalo] Aula 01 - Robótica e IOTAhirton Lopes
Aula da disciplina de "Introdução a Robótica e IOT", ministrada para os alunos das turmas 1IA e 2IA do MBA em Inteligência Artificial da FIAP.
Para tanto fizemos kits se utilizando de cortadora laser e impressão 3D tendo em vista experimento com sensor de ultrassom com Arduino, pequeno em escala mas muito semelhante a o que se é utilizado nos tais "estacionamentos inteligentes".
#ArtificialIntelligence #InteligênciaArtificial #InternetofThings #Arduino #FIAP #MBA
[Aula 01] School of AI SP - Back to BasicsAhirton Lopes
15/01/2019 na Lambda3 - Encontro 4 da School of AI SP - Apresentação “IA 101 – Back to basics” versando sobre os principais elementos que caracterizam Ciência de Dados e Big Data, como e em quais situações aplicar.
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem VisualAhirton Lopes
Nesta palestra são apresentados os principais conceitos em Aprendizagem Profunda (do inglês, Deep Learning), ou seja, a utilização de topologias de Redes Neurais as quais envolvem várias camadas escondidas, tais como explanações quanto a estrutura de neurônios artificiais, funções de ativação, como se dá o fluxo de treinamento, regra do gradiente descendente bem como demonstração das principais aplicações tais como Deep Autoencoders (compressão e descompressão de arquivos de áudio, vídeo etc.), CNNs (redes neurais convolucionais), RNNs (redes neurais recorrentes) dentre outros se utilizando de Keras, TensorFlow etc. Quer saber mais sobre a AIBrasil? - https://aibrasil.eti.br/
[Jose Ahirton Lopes] Deep Learning - Uma Abordagem VisualAhirton Lopes
Nesta palestra são apresentados os principais conceitos em Aprendizagem Profunda (do inglês, Deep Learning), ou seja, a utilização de topologias de Redes Neurais as quais envolvem várias camadas escondidas, tais como explanações quanto a estrutura de neurônios artificiais, funções de ativação, como se dá o fluxo de treinamento, regra do gradiente descendente bem como demonstração das principais aplicações tais como Deep Autoencoders (compressão e descompressão de arquivos de áudio, vídeo etc.), CNNs (redes neurais convolucionais), RNNs (redes neurais recorrentes) dentre outros se utilizando de Keras, TensorFlow etc.
4. Roteiro
Histórico da área;
Conceitos básicos em sistemas de recomendação;
Recomendação baseada em conteúdo vs. filtragem colaborativa;
Casos de uso;
Demo e novas possibilidades.
5. Sistemas de Recomendação
O objetivo dos sistemas de recomendação é gerar recomendações
válidas para um conjunto de usuários de itens que possam
interessá-los (MELVILLE; SINDHWANI, 2010);
Personalizados vs. não personalizados;
“Obter recomendações de fontes confiáveis é um componente
importante do processo natural de tomada de decisões”
(MELVILLE; SINDHWANI, 2010);
Estímulo ao consumo.
6. Sistemas de Recomendação
Problema com sobrecarga de informações;
Mais opções nem sempre é melhor.
As pessoas geralmente apoiam-se em recomendações de outras
pessoas para suas decisões diárias;
Área de pesquisa independente surgiu nos anos 90;
Interesse crescente:
Papel importante em sites altamente conceituados;
Conferências e workshops dedicados ao tema;
Sessões em conferências de outras áreas;
Cursos dedicados à área;
Edições especiais em revistas acadêmicas.
7.
8.
9. Sistemas de Recomendação
Músicas (ex. Spotify), Livros (ex. Amazon) e Filmes (ex. Netflix);
Recomendação de itens em eCommerce;
Recomendações de conteúdos em ambientes de eLearning;
Recomendação de links em ambientes de busca e navegação;
Ajudar pessoas (clientes, usuários) a tomar decisões;
Recomendação baseada em preferências:
De um indivíduo;
De um grupo ou comunidade.
10. Tipos de Sistemas de Recomendação
Baseados em conteúdo (Content Based) - usando as preferências pessoais
para corresponder e filtrar itens;
Por exemplo. Que tipo de livros eu gosto?
Filtragem Colaborativa (Collaborative Filtering) – combinam-se pessoas com
a mesma opinião;
Por exemplo. Se duas pessoas tiverem "gosto" semelhante, pode-se
recomendar itens consumidos por um para o outro.
Software social - o processo de recomendação é suportado mas não
automatizado;
Por exemplo. Weblogs fornecem um meio para recomendação.
Mineração de Dados Sociais - Registra dados de atividade social para
aprender as preferências do grupo ;
Por exemplo. Mineração de dados com base no de uso da web.
Nós nos concentraremos em CB e CF.
11. Recomendação Baseada em
Conteúdo
“Encontre-me coisas das quais eu gostei no passado”;
A máquina aprende as preferências por meio do feedback do
usuário, criando assim um perfil;
Feedback explícito – usuários avaliam itens;
Feedback implícito - o sistema registra as atividades do usuário;
Dados de clickstream classificados de acordo com a categoria e atividade
da página, por ex. navegando em uma página de produto;
Tempo gasto em uma atividade, tal como navegar em uma página.
A recomendação é visualizada como um processo de pesquisa,
com o perfil do usuário atuando como a consulta e o conjunto
de itens atuando como os documentos a serem correspondidos.
12. Filtragem Colaborativa
São combinadas pessoas com interesses semelhantes como
base para a recomendação:
Muitas pessoas devem participar para se tornar provável que
uma pessoa com interesses semelhantes seja, de fato,
encontrada;
Deve haver uma maneira simples de as pessoas expressarem
seus interesses;
Deve haver um algoritmo eficiente para corresponder pessoas
com interesses semelhantes.
13. Como funciona?
Usuários votam nos itens - interesses do usuário são
registrados. Classificações podem ser:
Explicitas: por ex. comprando ou classificando um item;
Implícitas: por ex. tempo de navegação, no. de cliques do
mouse.
Correspondência de vizinho mais próximo usado para
encontrar pessoas com interesses semelhantes;
Itens que os vizinhos classificaram positivamente, mas
que você não avaliou são recomendados a você;
O usuário pode avaliar os itens recomendados.
14. Exemplo de matriz de filtragem colaborativa CF MxN (M
usuários x N itens)
Items /
Usuários
Data
Mining
Engines
de
Busca
Bases
de
Dados
XML
John 1 5 4
George 2 3 4
Paul 4 5 2
Ringo 4 5
15. Observações
Pode-se construir um vetor para cada usuário (onde 0 implica
que um item não tenha classificação);
Por exemplo. para André: <1,0,5,4>
Por exemplo. para Menotti: <0,0,4,5>
Em média, os vetores do usuário são escassos, já que os
usuários classificam (ou compram) apenas alguns itens;
A similaridade ou correlação vetorial pode ser usada para
encontrar o vizinho mais próximo (Algoritmo KNN etc.);
Por exemplo. Maria mais próxima de Joana e depois de
Reinaldo.
16. Exemplo - Netflix
Importância da Recomendação no Netflix:
Em 2006, criou uma competição que premiaria em 1
milhão de dólares quem conseguisse melhorar seu
algoritmo (Netflix Prize);
Em 2012, 75% do conteúdo visualizado do Netflix foi
proveniente de algum tipo de recomendação;
Maior importância: personalização das recomendações ao
usuário ativo, a ordenação dos itens recomendados é o
parâmetro principal.
17. Exemplo - Netflix
Netflix Prize:
$1 milhão ao vencedor;
Critério de vitória: superar o RMSE (Raiz quadrada do erro-
médio) do algoritmo existente da Netflix (0,9525) em pelo
menos 10%;
Prêmio melhor progresso anual: $50 mil;
Início em 2006 e término em 2009;
Vencedor do primeiro Prêmio de Progresso:
Equipe da Korbell
8,43% de melhoria;
Conjunto de 107 algoritmos. Dois algoritmos aproveitados:
Matrix Factorization e Restricted Boltzmann Machines.
18. Exemplo - Netflix
Melhor Resultado: BellKor’s Pragmatic Chaos
Melhoria de 10,06%.
19. Exemplo - Netflix
Sistema de Recomendação Netflix
Recomendações arranjadas em grupos colocados em linhas, e cada
coluna é um item do grupo.
20. Exemplo - Netflix
Principais Parâmetros de Recomendação:
Semelhança (ou Similaridade);
Amigos (social);
Popularidade;
Gênero (ou Categoria);
Outros parâmetros podem incluir localização geográfica do
usuário ou dados retirados de seu perfil ou outros acessos.
Algoritmos observam estes parâmetros em conjunto, não
separados.
24. Netflix – Parâmetros Analisados
Popularidade:
Por meio da avaliação dos usuários para os itens assistidos;
Por meio do número de visualizações dos itens, tanto
parciais quanto totais (peso maior dado a visualizações
totais);
Netflix possui um mecanismo para medir a popularidade
de itens no Facebook e em outras mídias, não apenas em
seu sistema.
25. Netflix – Parâmetros Analisados
Gêneros:
Trata-se da organização dos filmes em linhas determinadas por gêneros.
Os gêneros de alto nível, mais comuns, são os que geralmente se
enquadram os filmes: comédias, dramas, suspense, terror, ação, etc.
Filmes também podem ser enquadrados em subgêneros diversos.
Ordenação:
Encontrar a melhor ordem para exibição de itens de cada arranjo;
Analisa e atribui ordem de acordo com um ou mais critérios de
preferência do usuário ou popularidade do item;
É considerada muito importante ao Netflix, pois é fator principal da
personalização usuário – serviço.
27. Dificuldades da Filtragem Colaborativa
Problema de escassez - quando muitos dos itens não foram
avaliados por muitas pessoas, pode ser difícil encontrar pessoas
"que tenham a mesma opinião”;
Primeiro problema do avaliador - o que acontece se um item
não tiver sido classificado por ninguém;
Cold start – o que acontece com usuários novos?
Problemas de privacidade;
28. Dificuldades da Filtragem Colaborativa
Pode-se combinar recomendações CF com os recomendados pela
recomendação CB;
Usar a abordagem CB para pontuar alguns itens não
classificados.
Em seguida, usar CF para recomendações;
Serendipity - recomendo para mim algo que eu não conheço.
Dicionário de Oxford: a ocorrência e desenvolvimento de eventos
ao acaso de uma forma feliz ou benéfica.
29.
30. “É preciso provocar sistematicamente
confusão. Isso promove a criatividade.
Tudo aquilo que é contraditório gera
vida ”
Salvador Dalí