Web Semântica na Globo.com (Novas Mídias UFRJ)

Web Semântica
globo.com
Ícaro Medeiros
icaro.medeiros@gmail.com
Time de Semântica
semantica@corp.globo.com

Thursday, October 24, 13

Curso Novas Mídias
UFRJ, 2013

Agenda
•

Web atual: hipertexto

•

Web semântica

• Ontologias
•

RDF e SPARQL

•

Linked Open Data

•

Semântica na globo.com


WEB ATUAL E COMO
MELHORÁ-LA?


Web Atual

•

Apresentação dos conteúdos

•

Formatação, não signiﬁcado

•

Pouca ou nenhuma estruturação


Conteúdo na Web
•

Vários elementos na página

•

Fotos, vídeos e animações

•

Qual a relação entre eles?

•

Quem é mencionado no texto?

•

Quem, Quando, Onde...


COMO ISSO AFETA
TAREFAS COMUNS?
Busca por Gols do Roberto Carlos no Maracanã


Na globo.com


E... No google


Problemas

•

Busca feita por palavras

•

Contexto indeﬁnido (como fotos e vídeos se
relacionam com o texto?)

•

Ambiguidade (qual Roberto Carlos?)


Objetivos

•

Registrar de forma precisa

•

Organizar corretamente

•

Transmitir signiﬁcado


WEB SEMÂNTICA


Web Semântica

“I have a dream for the web in which computers
become capable of analyzing all the data on the
web - the content, links, and transactions
between people and computers.”
Tim Berners-Lee


Registrar Informação

•

Produtor do conteúdo

•

Sabe o que, quem, quando, onde...

•

Resolve ambiguidade


Gol do Roberto Carlos


ONTOLOGIAS


Conceitualização de um
domínio (Gruber, 1991)
D


Devedzic, 2004


Tópicos num domínio D,

Devedzic, 2004


Usando uma linguagem L,

Devedzic, 2004


Uma ontologia é um catálogo de tipos
de coisas em D

Devedzic, 2004


Uma ontologia é um catálogo de tipos
de coisas em D
Tipos são representados em termos de
conceitos e relações em L.

Devedzic, 2004


Pizza

Base de
Pizza

Pizza de
Calabresa
tem base

Comida


Massa ﬁna

:Pizza rdfs:subClassOf :Comida ,
[ rdf:type owl:Restriction ;
owl:onProperty :base ;
owl:someValuesFrom :BaseDePizza
].


Por que Construir e usar
Ontologias?

•

Compartilhar conhecimento (interoperabilidade)

•

Vocabulários padronizados (reuso)

•

Informação processável por máquina


Engenharia de Ontologias
•

Identiﬁcar os indivíduos

•

Descrever seus atributos

•

Agrupar os indivíduos em classes

•

Enumerar as relações entre indivíduos

•

Deﬁnir regras (restrições, axiomas) sobre classes,
atributos e relações


RDF E SPARQL


Representação em Triplas
sujeito

objeto

Neymar

é um

jogador

Barcelona

é um

time

Neymar


predicado

está no
elenco

Barcelona

<Jogador>
é um

<Time>

está no
elenco

<Neymar>

é um
<Barcelona>

mandante
<Partida>

é um
<Santos>

visitante

<BarcelonaXSantos:02082013>
é uma
local
<Camp Nou>


data
“02/08/2013”

Triplas e Grafos

•

Bancos de triplas são bancos de grafo
especializados que funcionam com a restrição
<sujeito, predicado, objeto>

•

Simpliﬁca a entrada e consulta de dados


Contrução de Ontologias
•

Linguagens
•

OWL (Web Ontology Language)

•

RDF (Resource Description Framework)

•

SPARQL (SPARQL Protocol and RDF Query Language)


Triplas em RDF


Triplas em RDF

<Neymar>


Triplas em RDF

<Neymar>
é um


Triplas em RDF

<Neymar>
é um
<Jogador>


Triplas em RDF

<http://semantica.globo.com/esportes/Jogador/Neymar>
<Neymar>
é um
<Jogador>


Triplas em RDF

<Neymar>

<Jogador>


Triplas em RDF

<Neymar>
<http://www.w3.org/1999/02/22-rdf-syntax-ns#type>
<Jogador>


Triplas em RDF

<Neymar>
<http://semantica.globo.com/esportes/Jogador>
<Jogador>


Triplas em RDF

<Neymar>
<http://semantica.globo.com/esportes/Jogador>
<Jogador>

URI


Triplas em RDF (Turtle)
@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>.
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#>.
@prefix foaf: <http://xmlns.com/foaf/0.1/>.
@prefix dbpedia: <http://dbpedia.org/ontology>
rdf:type
dbpedia:SoccerPlayer ;
rdfs:label
"Neymar" ;
foaf:name
"Neymar da Silva Santos Júnior" ;
dbpedia:birthDate "05/02/1992" .


SPARQL
•

Linguagem deﬁnida pelo W3C para consultas em
bases RDF

•

Permite consultas federadas

•

Sintaxe baseada em SQL


Estrutura da consulta
# declaração e prefixos

PREFIX esportes: <http://semantica.globo.com/esportes/>
# cláusula de resultado

SELECT ...
# definição de datasets

FROM ...
# padrão para consulta

WHERE { ...
}
# modificadores de consulta

ORDER BY ...


abreviação de URIs


SELECT ...

FROM ...

WHERE { ...
}

ORDER BY ...




SELECT ...

FROM ...

WHERE { ...
}

ORDER BY ...


o que retornar



SELECT ...

o que retornar


FROM ...

WHERE { ...
}

ORDER BY ...


de que grafos



SELECT ...

o que retornar


FROM ...

de que grafos


WHERE { ...
}

ORDER BY ...


o que consultar
(matching)



SELECT ...

o que retornar


FROM ...

de que grafos


WHERE { ...
}

o que consultar
(matching)


ORDER BY ...


pós-processamento

dbpedia.org/sparql


Exemplo de Consulta
Selecionar os 100 primeiros predicados e
objetos da classe dbpedia:SoccerPlayer

PREFIX dbpedia: <http://dbpedia.org/ontology/>
SELECT *
FROM <http://dbpedia.org>
WHERE {
dbpedia:SoccerPlayer ?p ?o
}
LIMIT 100


Resultado


Exemplo de Consulta
Selecionar todas as instâncias da classe
dbpedia:SoccerPlayer e seus nomes

PREFIX dbpedia: <http://dbpedia.org/ontology/>
SELECT ?soccerPlayer ?name
FROM <http://dbpedia.org>
WHERE {
?soccerPlayer a dbpedia:SoccerPlayer ;
rdfs:label ?name .
}


LINKED DATA


Linked Data
•

Rede de dados, co-refenciados

•

Endpoints SPARQL abertos

•

Identiﬁcadores únicos (URIs) para conceitos

•

URIs derreferenciáveis

•

Bases de dados de referência


Linked Data
•

Repositório de uso geral
•

•

DBPedia (conceitos extraídos da Wikipedia)

Repositório sobre domínios especíﬁcos
•

GeoNames

•

MusicBrainz

•

legislation.data.gov.uk


Como padronizar seus
dados?
•

Vocabulários controlados

•

Exemplo: Dublin Core Metadata Initiative (DCMI)
•

termos com signiﬁcado bem deﬁnido:
•

title, creator, contributor, ...


Outros Vocabulários

•

FOAF (Friend of a Friend)
•

Informações sobre pessoas

•

Originalmente usado para redes sociais


SCHEMA.ORG
•

Iniciativa Google, Bing e Yahoo!

•

Grande melhoria em SEO

•

Gera Rich Snippets


SCHEMA.ORG
•


•


•

Gera Rich Snippets

review


SCHEMA.ORG
•


•


•

Gera Rich Snippets

review
atores


Exemplo Schema.org
<div itemscope itemtype="http://schema.org/Movie">
<div itemtype="http://schema.org/AggregateRating" itemscope
itemprop="aggregateRating">
Ratings: <span itemprop="ratingValue">7.0</span>
<span>/<span itemprop="bestRating">10</span></span>
from <span itemprop="ratingCount">174,328</span> users
</div>
</div>


Benefícios

•

Signiﬁcado explícito

•

Sem ambiguidades

•

Entendido por máquinas de busca


Buscas Semânticas
•

Encontram e analisam meta-informação
•
•

•

HTML 5 microdata, RDFa
Repositórios de triplas

Relacionam informações em sites diferentes
•

Dado que usem vocabulários padrão


globo.com

COMO
USAMOS


globo

esporte

.com


Números

•

98% das matérias do GE e EGO são anotadas

•

+ 8 MIL páginas de tópico


Conhecimento Único

•

Menos duplicidade dos dados

•

Simpliﬁcação do uso e da manutenção dos
dados

•

Agilidade na recuperação dos dados


Como? Ontologias
Materia
Matéria
XYZ


cita a entidade

cita a entidade

Pessoa

Romário

CMS
•

Metadados com signiﬁcado (diferente de tags)

•

CMS se adapta a ontologia

•

Extrator automático de indivíduos

•

Suggest de anotação

•

Menor esforço editorial


O Que Estamos Fazendo

•

API hipermídia: simpliﬁcando uso de semântica

•

Ontologias mais focadas: de produtos para
domínios

•

Modelagem com equivalências a ontologias
como a DBPedia


API Hipermídia
•

Diminuir complexidade da arquitetura

•

Reduzir necessidade de queries SPARQL

•

Gerenciamento de dados (deduplicação,
validação, integração com dados externos)

•

Ponto único de acesso ao banco de triplas


CMS
suggest
annotation

suggest
annotation

Arquitetura
atual

entity
extractor

entity
extractor
search engine

suggest
annotation

entity
extractor

A
P
I

triple store

CDA
suggest
annotation

entity
extractor
process
queue


Nova
arquitetura
A
P
I

search
engine

triple
store


Hipermídia?

•

Não lembre URLs. Navegue!

•

Negociação de conteúdo

•

Aplicação é tratada como uma Máquina de
estados


Relações

self
inCollection
/esports/
Time

/esportes/Time/
Barcelona

item
create


replace

delete

GET


/

{

GET


/

"items": [
{
"title": "Upper",
"@id": "http://semantica.globo.com/upper/",
"resource_id": "upper"
},
{
"title": "Esportes",
"@id": "http://semantica.globo.com/esportes/",
"resource_id": "esportes"
}
]

GET


/

"links": [
{
"href": "http://api.semantica.dev.globoi.com/",
"rel": "self"
},
{
"href": "http://api.semantica.dev.globoi.com/
{resource_id}",
"rel": "item"
},
{
"href": "http://api.semantica.dev.globoi.com/",
"method": "POST",
"rel": "create"
},
{
"href": "http://api.semantica.dev.globoi.com/
{resource_id}",
"method": "DELETE",
"rel": "delete"
},
{
"href": "http://api.semantica.dev.globoi.com/?
page=2",
"method": "GET",
"rel": "next"
}
]

rel:item
GET


/

resource_id:esportes
rel:item
GET


/

rel:item
GET

/

GET


rel:item
GET

/esportes

/

GET


GET /esportes


rel:item
GET /esportes


resource_id:Time
rel:item
GET /esportes


resource_id:Time
rel:item
GET /esportes


GET

resource_id:Time
rel:item
GET /esportes


GET

/esportes/Time

/esportes/
GET
Time


/esportes/
GET
Time


rel:item

resource_id:Barcelona
/esportes/
GET
Time


rel:item

/esportes/
GET
Time


rel:item
GET

/esportes/
GET
Time


rel:item
GET

/esportes/Time/
Barcelona

GET /esportes/Time/
Barcelona


rel:delete

GET /esportes/Time/
Barcelona


rel:delete
DELETE
GET /esportes/Time/
Barcelona


Futuro
•

Navegação sugerida por inferência

•

Potencialização de SEO (schema.org automático)

•

Sugestão de anotação

•

Conteúdo mais rico, com atualização frequente

•

Conectado com dados abertos (DBPedia,
dados.gov.br)


CASES RELEVANTES
Modelos de uso da
Web Semântica


Ações Realizadas

•

Uso da ontologia GoodRelations

•

Adição de metadados: RDFa


Resultados

•

Tráfego originado por motores de busca: + 30%

•

Taxa de cliques no Yahoo!: + 15%

•

Aumento signiﬁcativo do Google PageRank


Ações Realizadas

•

Ontologias públicas

•

Interligação com repositórios de dados externos

•

Criação de categorias e agregadores úteis


Domínios Representados


Ontologia De Programas


Resultados

•

Proliferação de links relevantes: potencialização de SEO

•

Reuso das informações: menor desperdício de pessoal

•

Navegação interligada e escalável para toda a BBC


Ações Realizadas

•

Anotação e indexação do conteúdo baseado em indivíduos

•

Ontologia pública

•

Interligação com repositórios de dados externos

•

Adição de metadados: Open Graph


NYT Index Abstract
Jenny Brown, owner of
Woodstock (NY) Farm
Animal Sanctuary, forms
special bond with Albie, goat
that probably escaped from
New York City
slaughterhouse; Albie injured
leg in escape and it had to be
amputated; Brown had leg
amputated as child; wears
artificial leg and wants to also
get one for Albie; photos (M)


✓ Assuntos: Livestock; Goats;

Amputation; Prosthesis; Legs
✓ Organizações: Woodstock

Farm Animal Sanctuary
✓ Lugares: Woodstock (NY);

New York City
✓ Pessoas: Santos, Fernanda;

Brown, Jenny

globo.com
/talentos
Programa de estagiários


globo.com
Ícaro Medeiros
icaro.medeiros@gmail.com
Time de Semântica
semantica@corp.globo.com

slides
http://www.slideshare.net/icaromedeiros


Web Semântica na Globo.com (Novas Mídias UFRJ)

Mais conteúdo relacionado

Mais procurados

Semelhante a Web Semântica na Globo.com (Novas Mídias UFRJ)

Mais de Ícaro Medeiros

Último

Web Semântica na Globo.com (Novas Mídias UFRJ)