Hackathon UOL

Regina Cantele
Coordenadora na FIAP dos cursos MBA Arquitetura de
Banco de Dados e Digital Data Marketing.
Doutora e mestre em Engenharia Elétrica (Poli/USP),
graduada em Ciência da Computação e em Ciências
Exatas (Universidade Caxias do Sul).

IT TOP TRENDS:
Big Data, IoT e Web
Semântica

“A utopia está lá no horizonte. Me
aproximo dois passos, ela se afasta
dois passos. Caminho dez passos e o
horizonte corre dez passos. Por mais
que eu caminhe, jamais alcançarei.
Para que serve a utopia? Serve para
isso: para que não deixe de
caminhar.”
Eduardo Galeano

BIG DATA - CONTEXTO
“Uma enorme quantidade de registros é criada
continuamente, resultante de interações sociais e
econômicas de bilhões de pessoas em todo o mundo ... redes
sociais, cartões de crédito e débito, equipamentos médicos, etiquetas de RFID, câmeras de vídeo
e radares de vias públicas, GPS, Smart TV’s, entre outros, conectados à
internet.”

“Esses dados precisam ser
coletados,
armazenados,
analisados, processados,
compartilhados e
visualizados por
softwares analíticos de bases
de dados.”
BIG DATA - CONTEXTO

BIG DATA - CONTEXTO
Do ponto de vista tecnológico:
“Big data é um termo genérico para dados que não podem
ser contidos nos repositórios usuais; refere-se a dados
volumosos demais para caber em um único servidor; não
estruturados demais para se adequar a um banco de dados
organizados em linhas e colunas; ou fluídos demais para
serem armazenados em um data warehouse estático.”
(DAVENPORT).
... toda e qualquer informação nestes meios possa ser
encontrada, analisada e aproveitada em tempo hábil.”
(ALECRIM)

Do ponto de vista da ciência:
“... big data como disciplina de uma ciência
que utiliza dados digitais em suas pesquisas -
a Ciência das Redes que combina
matemática, programação e instinto
científico.”
BIG DATA - CONTEXTO

BIG DATA – NUVEM E OPEN SOURCE

BIG DATA – ECOSSISTEMA HADOOP

Solução Proprietária.
 Modernização
 In memory, Appliances, Algoritmos embarcados
BIG DATA – SOLUÇÕES PROPRIETÁRIAS

Sistema de recomendação baseado em grafos
Quem viu este produto, também viuCompre junto
BIG DATA - NOSQL

Solução Tecnológica – Titan + Tinkerpop
BIG DATA - NOSQL

BIG DATA – MODELOS ANALÍTICOS

Deep Learning no Google TensorFlow.

DeepMind's AI learned to ride the London Underground using human-like reason
and memory

Ferramentas

Atribuir significado aos dados
Permitir a identificação
de padrões e insights
ocultos na enorme
quantidade de dados
Compreender “o que está
acontecendo” em tempo
real
Auxiliar na tomada de
decisão

Reed Hastings, presidente-executivo

 Base do trabalho diário é a análise de dados.
 Algoritmos e especialistas possuem habilidades
analíticas para personalizar o atendimento,
distribuir conteúdo, analisar melhores
dispositivos e conhecer os hábitos dos
assinantes.

Tem entre 60-90 segundos
para capturar a atenção do
usuário antes que ele desista
e vá fazer outra coisa.

• Cada pessoa leva em média 1.8 segundo para decidir se
quer ver ou não determinado título.

• O cérebro humano consegue
processar imagens em meros 13
milissegundos, e a empresa
descobriu que estas imagens
influenciam na decisão de assistir
algo, como também são
responsáveis pelo aumento de 82%
de tempo gasto pesquisando na
forma.

• Os cientistas de dados da Netflix usam as estatísticas para
alterar cores, emoções, personagens e palavras que aparecem
nas fotos.

• Emoções complexas - rostos causam um efeito magnético

• Vilões são mais atraentes

Dados que definem o que produzir
• 1/3 dos títulos disponíveis são
produções da própria empresa.
• Easy, Narcos, Stranger Things, Wet Hot American
Summer, Fuller House, Master of None, Unbreakable
Kimmy Schmidt, Love, Jessica Jones, O Demolidor,
Marco Polo, Sense8, BoJack Horseman, The Get
Down, Grace and Frankie, Orange is the New Black,
House of Cards, Club de Cuervos, Lady Dynamite,
Hemlock Grove, Bloodline e Hibana.....

Stranger Things: a maior obra de arte do algoritmo

 Web 3.0 (Web Semântica)
Web Semântica
A ideia é ter dados definidos e interligados na web de
maneira que possam ser interpretados por máquinas,
não somente por seu objetivo visual mas também para
automação, integração e reuso entre várias aplicações.

Web Semântica
Considerar o tempo necessário para :
(i) tentar distinguir entre o que é relevante, menos relevante ou até não
relevante entre os todos recursos disponibilizados na web; entre o que deve merecer a
nossa atenção imediata e menos imediata; entre o que é prioritário e menos prioritário;
(ii) executar tarefas repetitivas como dado um conjunto de critérios selecionar algo -
restaurantes ou pessoas, e verificar quais é que o satisfazem.
(iii) obter uma perspectiva global, integrada e atualizada da informação
existente sobre um dado recurso - uma pessoa, um projeto, um automóvel.
Web Semântica

Web Semântica
- Anotar semanticamente as paginas da empresa
- Construir um mecanismo de busca para empresa
- Buscar / minerar pAginas de outras empresas

Web Semântica
"Estruturar dados em uma página web é uma maneira
padrão de anotar seu conteúdo para que máquinas
possam entendê-la. Quando suas páginas da web incluem
marcação estruturada de dados, o Google (e outros
motores de busca) podem usar esses dados para indexar
melhor seu conteúdo e apresentá-lo mais proeminente nos
resultados de pesquisa das novas experiências de busca,
como respostas de voz, mapas e Google Now."

Web Semântica
http://consultsite.com.br/google/
DataHighlighter

• Lista de termos autorizados
• Termos com definições
• Termos não podem se repetir
para designar conceitos
diferentes
Vocabulários Controlados
Web Semântica

 FOAF
 SIOC
 COGS
 Data Cube Vocabulary
 PROV-O
 DCTERMS
 WGS84 Geo Positioning
 SDMX
 QUDT
 SSN
 Schema.org
 VoID
 Data Catalog
 ...
http://lov.okfn.org/dataset/lov/
Vocabulários Controlados

Web Semântica
"O mecanismo de busca perfeito deve ser
capaz de compreender o que você quer dizer e
retornar exatamente o que você precisa."

Web Semântica
Mecanismos de Busca – Buscas Inteligentes
“Google is switching from simple keyword recognition to the identification of entities, nodes and
relationships.”
Permite pesquisar coisas, pessoas ou lugares como monumentos, celebridades, cidades, equipes
esportivas, prédios, acidentes geográficos, filmes, objetos celestiais, obras de arte e mais - e
instantaneamente mostrar outras informações relevantes à pesquisa.
Google Now é sua evolução ;))
Google Knowledge Graph
(maio 2012)
Hummingbird
RankBrain (2015)

Web Semântica
Ranking >= 200 métricas

Web Semântica
Descrições com Rich Snippets
Compreender o conteúdo do site e a
obter melhores índices de
rankeamento.
Ao adicionar descrições como "star
ratings", as mesmas podem ser
apresentadas diretamente nos
resultados.
count
nome
rating

Web Semântica
Sitelinks Search Box
Exibe uma caixa de pesquisa dentro
de seu resultado na própria página de
resultados, normalmente para
branded searchs.

Web Semântica
Busca por um resultado comercial
Polaris - semantic search - novo motor de busca que usa algoritmos
avançados, incluindo a compreensão da consulta e mineração de sinônimos
para obter a intenção de busca do usuário. Isto aumentou os visitantes que
completam a compra de 10% para 15%.
http://www.hardwareretailing.com/360-view-walmart/
Construirummecanismode
buscaparaempresa

Web Semântica
http://bigdata-madesimple.com/top-50-open-source-web-crawlers-for-data-mining/
Buscar/minerarpáginasde
outrasempresas
Web crawler
• Inicia com uma lista de
URLs para visitar - seeds.
• Visita e identifica todos
hyperlinks na URL e cria
uma lista chamada crawl
frontier.
• URLs são recursivamente
visitadas.
Também conhecido como bots, web spiders, web robots ou web scutters.

1014 datasets sendo 51% em Social Web
Linked Open Data (LOD)
2014
Web Semântica

Web Semântica

Exemplo:
Pesquisar qual jogador de futebol nasceu na província
de Albacete, na Espanha, e marcou um gol na final da
Eurocopa 2008.
A seguinte consulta SPARQL nas LODs :
Web Semântica

Inferência
Inferência
Web Semântica

)()(),()(:, xgolydefendenãoyxchutexatacanteyx 
Web Semântica - Ontologia
Tipos de Restrições – Quantificadores – Operadores

Web Semântica
Ontologia – GoodRelations
Best Buy
• Descobriu que era impossível ser o melhor em termos de SEO (Search
Engine Optimization) em todas as categorias de pesquisa para cada
produto.
• Necessidade de melhorar a busca dentro do site, o funcionamento de
alguns itens como: produtos relacionados, filtros para produtos em
promoção, produtos disponíveis em certa localidade e além de tudo
melhorar a API de produtos deles.
• Com GoodRelations RDF, os metadados adicionais podem incluir preço,
cor, dimensões, modelo e outros atributos interessantes para o
consumidor.

VIDONT
Structured Spatiotemporal Video Annotation for Automated Scene Interpretation
Inferência
Web Semântica

An OWL-Based Mobile GeoBI Context Ontology Enabling Location-Based and Context-
Based Reasoning and Supporting Contextual Business Analysis
Inferência
Web Semântica

Style BOT - um robô para o mercado de moda
- auxiliar e-commerces, aplicativos e portais de moda a interagir com o
seu público de forma individual e especializada com o intuito de
fomentar as vendas.
- permitir que sites e aplicativos aprendam sobre os comportamentos
de seus consumidores, interagindo com eles como um consultor de
moda e estilo, resolvendo dúvidas e fazendo recomendações de
acordo com as preferências de cada um.
http://startupi.com.br/2016/03/startup-gaucha-desenvolve-inteligencia-artificial-em-moda/#sthash.ZkRQaKRz.dpuf
Web Semântica

Style BOT - um robô para o mercado de moda
O módulo de Busca Semântica identifica itens de
interesse do usuário que não constam em sua busca
original.
Por exemplo, uma pesquisa por “Vivienne
Westwood” num sistema tradicional de busca pode
não trazer resultados como produtos com a
estampa dos britânicos do “Sex Pistols”, no entanto,
a estilista tem relação direta com o movimento
punk e provavelmente um consumidor interessado
nela também se interessaria pela banda ícone punk.
Web Semântica

Web Semântica
Web
Semântica
Inteligência
Artificial
Web
Uma visão da informação compreendida por
máquinas para realizar tarefas como buscas,
integração, compartilhamento na web
A inteligência das
máquinas

Quais as tecnologias envolvidas com a Web?
A Web hoje permite o uso de linguagens mais flexíveis e de
padrões cada vez mais aceitos de representação da
informação. Isso a transforma em uma rede de
conhecimento, e não apenas em um espaço onde coabitam
dados sem conexão.
Web Semântica

Arquitetura proposta W3C
Arquitetura W3C, em suas camadas, define
as tecnologias necessárias para que os
conteúdos das páginas Web possam ser
compreendidos pelos computadores.
Criptografia(9)
URI/IRI (1)
RDF-S
(3b)
Consulta:
SPARQL
(4c)
Ontologia:
OWL (4a) Regras:
RIF (4b)
Lógica Unificada (5)
Confiança (7)
Aplicações e Interfaces c/ Usuário (8)
XML (2)
Prova (6)
Intercâmbio de
Dados: RDF (3a)
Criptografia(9)
URI/IRI (1)
RDF-S
(3b)
Consulta:
SPARQL
(4c)
Ontologia:
OWL (4a) Regras:
RIF (4b)
Lógica Unificada (5)
Confiança (7)
Aplicações e Interfaces c/ Usuário (8)
XML (2)
Prova (6)
Intercâmbio de
Dados: RDF (3a)
Web Semântica

Ganha a corrida quem
tiver as melhores
informações e que
saiba o que fazer com
elas.

Hackathon UOL

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (11)

Semelhante a Hackathon UOL

Semelhante a Hackathon UOL (20)

Hackathon UOL