Amazon neptune: uma primeira olhada do ponto de vista do desenvolvedor

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Marcelo Palladino
Arquiteto de Software, Hi Platform
Amazon Neptune
Uma olhada do ponto de vista do
desenvolvedor

Amazon Neptune
Serviço de banco de dados orientado a grafos rápido,
confiável e totalmente gerenciado que facilita a criação de
aplicações que trabalham com grafos.

Performance e escalabilidade
● Até 15 réplicas de leitura
● Três zonas de disponibilidade
● Podendo executar mais de 100.000 consultas por segundo
● Latência de milisegundos

Alta disponibilidade e durabilidade
● Compatível com ACID (Atomicity, Consistency, Isolation,
Durability)
● Projeto para 99,99% de disponibilidade
● Tolerante a falhas (seis cópias dos dados em três zonas
de disponibilidade)
● Recuperação automática (backups contínuos para o S3 e
failover de instância com tempos inferiores a 30 segundos)

Segurança
● Integrado à VPC
● Suporte a criptografia (inclusive em trânsito)

Abrir a caixa de ferramentas!
:)

Modelos e linguagens de consulta suportadas
● Property Graph - Apache TinkerPop Gremlin
● W3C’s RDF (Resource Description Framework) - SPARQL

Relacional x Grafo
Pessoa
Id Nome
1 Caio
2 Camila
Comida
Id Nome
3 Pastel
4 Feijoada
Pessoa_Comida
IdPessoa IdComida
1 3
2 3
2 4

Relacional x Grafo
● Tabelas/Entidades x Vértices/Nós
● Colunas x Propriedades
● Relacionamentos?
Vértice
Propriedade
Label
(representa o “tipo”
da entidade)

Aresta/relacionamento: “cidadão de primeira classe”
Aresta
Relacionamento
(contém direção, semântica,
pode ter propriedades)
Vértice Vértice

Ferramentas para começar...
● Amazon Neptune
● Amazon Cloud9
● Gremlin server
■ https://www.apache.org/dyn/closer.lua/tinkerpop/3.3.3/apache-tinkerp
op-gremlin-server-3.3.3-bin.zip
● Gremlin console
■ https://www.apache.org/dyn/closer.lua/tinkerpop/3.3.3/apache-tinkerp
op-gremlin-console-3.3.3-bin.zip
● .net core
■ https://docs.aws.amazon.com/cloud9/latest/user-guide/sample-dotnet
core.html#sample-dotnetcore-setup
● Gremlin.NET
■ nuget install Gremlin.Net
● Graph Explorer
■ https://github.com/bricaud/graphexp

Pontos de atenção
● Configuração do Java (Gremlin console)
● Configuração do host remoto (Gremlin console)
● Configuração da saída do console (Gremlin console)
● Security Groups

Gremlin
Está para o banco de dados orientado a grafos assim como o
SQL está para o banco de dados relacional.

Gremlin/.net core
● Criando vértices (addV)
● Criando arestas (addE, from, to)
● Criando propriedades (property)
● Listando
○ Vértices
○ Arestas
○ Limitando retornos
■ Filtros (has, is, limit)
■ Predicados (eq, neq, gt, lt, gte, lte, between)
● Navegando pelo grafo

Gremlin: mais alguns steps úteis
● Group
○ By
● Count
● Drop
● Explain
● ...
http://tinkerpop.apache.org/docs/3.3.3/reference/#graph-traversal-steps

Apache Tinkerpop Gremlin
Atenção às diferenças de
implementação de cada servidor
https://docs.aws.amazon.com/neptune/latest/userguide/access-graph-gremlin-differ
ences.html

Bacana, mas...

Relacional x Grafo
Pessoa
Id Nome
1 Caio
2 Camila
5 Lucas
Amizade
IdPessoa IdAmigo
1 2
2 1
2 5
5 1
...

Relacional x Grafo: Quem são os amigos da “Camila”?
SELECT p1.Nome
FROM Pessoa p1
JOIN Amizade
ON Amizade.IdAmigo = p1.Id
JOIN Pessoa p2
ON Amizade.IdPessoa = p2.Id
WHERE p2.Nome = 'Camila'

Relacional x Grafo: Quem são os amigos da “Camila”?
g.V().has("nome", "Camila").out("AMIGO_DE")

Relacional x Grafo: Com quem a “Camila” tem amizade?
SELECT p1.Nome
FROM Pessoa p1
JOIN Amizade
ON Amizade.IdPessoa = p1.Id
JOIN Pessoa p2
ON Amizade.IdAmigo = p2.Id
WHERE p2.Nome = 'Camila'

Relacional x Grafo: Com quem a “Camila” tem amizade?
g.V().where(outE("AMIGO_DE").inV().has("nome",
"Camila").and().inE("AMIGO_DE").outV().has("nome",
"Camila")).values()

Relacional x Grafo: Quem são os “amigos dos amigos” do
“Lucas”?
SELECT p1.Nome AS 'Pessoa',
p2.Nome AS 'Amigo do amigo'
FROM Amizade a1
JOIN Pessoa p1
ON a1.IdPessoa = p1.Id
JOIN Amizade a2
ON a2.IdPessoa = a1.IdAmigo
JOIN Pessoa p2
ON a2.IdAmigo = p2.Id
WHERE p1.Nome = 'Lucas' AND
a2.IdAmigo <> p1.Id

Lucas?
g.V().has("nome",
"Lucas").out("AMIGO_DE").out("AMIGO_DE").values("nome")

Lucas?
g.V().has('nome','Lucas').repeat(out("AMIGO_DE").simplePath()).emit(__.not(out("
AMIGO_DE").simplePath())).path().by("nome")

Banco de dados orientados grafos
BRILHAM
com dados conectados

Exemplos canônicos
● Redes sociais
● Sistemas de recomendação
● Detecção de fraudes
● Ciências biológicas
● Operações de rede/TI
● ...

Exemplos não tão comuns
● ERP: Composição de produtos e sugestão de preços de
venda
● Sistemas para autorização de acesso
● Sistemas de classificação baseados em árvores
● Sistemas de formulários dinâmicos
● Bots: Composição de árvores conversacionais
● ...

Se você não conhece a
profundidade dos seus dados,
provavelmente deveria usar grafos!

Carregando dados em uma instância do
Amazon Neptune: Games e Gamers
https://github.com/aws-samples/amazon-neptune-samples/blob/master/gremlin/col
laborative-filtering/README.md

Carregando dados em uma instância do
Amazon Neptune
● Arquivos CSV
● S3
● IAM role
● VPC Endpoint

Resumo
● Neptune
● Cloud9
● Gremlin server
● Gremlin console
● Gremlin.NET (para desenvolvimento com .NET)
● Graph Explorer
● Api’s para carga de dados

Referências
● Marco Goldbarg e Elizabeth Goldbarg, Grafos: conceitos,
algoritmos e aplicações
● Joe Celko’s, Trees and Hierarchies in SQL for smarties
● Ian Robinson, Jim Webber and Emil Eifrem, Graph
Databases

Obrigado!
Marcelo Palladino
Arquiteto de Software, Hi Platform
@mfpalladino

Amazon neptune: uma primeira olhada do ponto de vista do desenvolvedor

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Amazon neptune: uma primeira olhada do ponto de vista do desenvolvedor

Semelhante a Amazon neptune: uma primeira olhada do ponto de vista do desenvolvedor (20)

Amazon neptune: uma primeira olhada do ponto de vista do desenvolvedor