Franco Vieira
Construindo sua Infraestrutura de Vídeos e Conteúdo na Nuvem
SolutionsArchitect
July 30th, 2013
Vários Tutoriais , treinamentos e mentoria em
português
Inscreva-se agora !!
http://awshub.com.br
Media Evolution
How Cloud Scalability can be
used for media workflows…
Media workflows in the Cloud
Really …
Media Evolution
Analog VCD DVD 720p 1080p (3D) 2K 4K
SIZEUSERSFORMAT Ingest
Storage
Processing
Delivery
Media is getting Better …
Media is getting Harder …
We need tools that can scale for Media …
Managed
Services
Secure
High Availability
Massive Scale
Concentrate on
Better content
Leave Harder IT
management to us …
OrchestratorMedia Workflow
Storage
Transcode
Watermark
Segment
Deliver
Ingest
Media Ingest
AWS Import/
Export
Amazon S3
(multi-part Upload)
AWS Storage
Gateway Service
AWS Direct
Connect
Media Ingest
S3 Bucket
S3 SDK
S3 Serverside
S3 multi-part
Upload
Files
Media Ingest
S3 Bucket
EC2 Instance
Running Aspera
Media Files
Aspera on-Demand Server
FASP
Instance RAM
FASP Gateway
Media Storage
Amazon S3
Your files
- Faster access to massive compute capabilities
- Many external products (hourly or BYOL)
- Access to other processing vendors without
having to move files around
- Scalable Media Delivery
Media Storage (in the Cloud)
Amazon S3
Amazon Glacier
Single API access (regardless
of the storage class)
>Durability
>>Scale
>>>Cost Amazon S3 (RRS)
Media Processing
Amazon S3
EBS
Instance
Store
EC2 Instance
AMI
Media Software
AWS Online Software Store
• Customer can find, research, buy software
• Simple pricing, aligns with EC2 usage model
• 1-Click launch in minutes
• Marketplace billing integrated into your AWS
account
• 600+ products across 23 categories
Developer Tool Categories Include
• Media Servers
• Transcoding
• Media Publishing
• Digital Asset Management
Media Processing
EC2 Instance
I/O
Media Processing
AMI
EBS
Instance
Store
EC2 Instance
Media Processing
AMI
EBS
Instance
Store
EC2 Instances
Media Processing
AMI
EBS
Instance
Store
SteadyState Transcoders
EBS
Instance
Store
Spot Transcoders
Transcode
Queue
Media Processing
AMI
EBS
Instance
Store
SteadyState Transcoders
Transcode
QueueEBS
Instance
Store
Spot Transcoders
Auto Scaling
Cloudwatch
Alarm
Media Processing
Time
Capacity
Launch of new device
1000’s of transcoders
Media Workflow
SNS SQS SWF
Processing
Queue
Amazon SWF
Transcode Worker
Transcode Worker (Spot)
Input files in S3
Slicer
CMS
Media Workflow
AWS Import/
Export
DRM Wrapper
DRM Wrapper (Spot)
SNS
Streaming Server
Media Workflow
Processing
Queue
Amazon SWF
Transcode Worker
Transcode Worker (Spot)
Input files in S3
Slicer
CMS
Media Workflow
AWS Import/
Export
DRM Wrapper
DRM Wrapper (Spot)
SNS
Streaming Server
Amazon SWF
Input and output in S3
Media Workflow
AWS Import/
Export
DRM Wrapper
DRM Wrapper (Spot)
SNS
Streaming Server
Amazon Elastic Transcoder
Input and
outputin S3
Media Transcoding
Amazon Elastic Transcoder
• Video Transcoding in the Cloud
• Familiar Development in AWS SDKs
Python, Node.js, Java, .NET, PHP, and Ruby
• Supports most popular formats
(H.264 video with AAC audio in an MP4 container)
• Free Usage Tier
Media Delivery (in the Cloud)
Amazon S3
RTMP Streaming or
Download Distribution
Processed Media Files
>Pay as you go
>>Performance
>>>Cost
HTTP/HTTPS
Amazon CloudFront
CDN
Edge Locations
Dallas (2)
St.Louis
Miami
JacksonvilleLos Angeles (2)
Palo Alto
Seattle
Ashburn
(2)
Newark
New York (3)
Dublin
London (2) Amsterdam (2)
Stockholm
Frankfurt (2)
Paris
(2)
Singapore
(2)
Hong Kong
(2)
Tokyo (2)
Sao Paulo
South Bend
San Jose
Osaka
Milan
Sydney
Hayward
Madrid
Media Delivery (Streaming)
HDS/HLS/Smooth
Streaming
Amazon CloudFront
EBS
Instance
Store
EC2 StreamingInstance
Amazon S3
Media Reporting
Amazon CloudFront
Access Logs
Amazon S3
EMR
Amazon
Redshift
Business
Smarts
 Desde maio de 2004, o nosso maior
objetivo é desenvolver plataformas de
vídeo que possibilitem que qualquer
pessoa crie, gerencie e monetize
facilmente os seus vídeos na Internet.
 Além de distribuir mais de quatro milhões
de vídeos por mês para mais de sete
milhões de pessoas, o Videolog conta com
estatísticas avançadas de visualização
possibilitadas pela estrutura da AWS.
“Atingimos uma estabilidade incrível em nosso site,
além de poder proporcionar novos produtos de qualidade aos
nossos clientes, como o live streaming de vídeo”.
“Estávamos com um custo
altíssimo e desempenho
abaixo do esperado, a
AWS e seu suporte de alta
qualidade transformou
nossa realidade”
Bruno Dulcetti
O Desafio
 O Videolog precisava aumentar a
velocidade e o desempenho da sua
infraestrutura. Com a ascendência
constante de usuários, era necessário uma
plataforma escalável e segura.
 O suporte a infra tinha que ser
diferenciado, sendo imprescindível um
contato constante com os responsáveis
pelo serviço.
O Papel da AWS e Benefícios alcançados
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
 A estabilidade atingida com a Amazon Web
Services possibilitou o Videolog a expandir
seus produtos, oferecendo Live Streaming
em vídeo e estatísticas avançadas de
vídeos com o uso do DynamoDB, por
exemplo.
 A transmissão e compartilhamento de
vídeo se tornou muito mais fácil com o uso
da AWS, além da maior disponibilidade,
temos uma grande quantidade de serviços
agregados.
• Líderes a mais de uma década na
implementação rápida de projetos relacionados
a distribuição de áudio e vídeo, oferecendo
softwares de alta confiabilidade, prontos para
uso e testados para grandes audiências.
• Com sedes no Brasil, EUA e Espanha, desde
1999 a OTT Networks criou um portfólio em
serviços inovadores de distribuição de mídia
digital para empresas no mundo inteiro
Amazon Web Services tornou possível escalar quase que
infinitamente a plataforma Media iBox
A facilidade de
gerenciamento de
múltiplos ambientes de
desenvolvimento na
AWS não tem paralelo
no mercado
atualmente
O Desafio
• Encoding de áudio e vídeo requer grande
quantidade de poder de processamento por
períodos relativamente curtos de tempo
• Como re-encodar todo o acervo de vídeo do
Terra no menor tempo possível?
• Gerenciamento de custos de encoding farms
• Testes de escalabilidade de novos releases da
plataforma
O Papel da AWS e Benefícios alcançados
PARAGRAFO RESUMO
CASO _ KEY WORDS
de BENEFICIO,
DESAFIO VENCIDO –
RESUMO DO CASO EM
UM PARAGRAFO
• Clonagem de máquinas permite a criação de
encoding farms on-demand
• API’s de administração da AWS permitiu o
desenvolvimento de processos automatizados
de desligamento de máquinas não utilizadas,
reduzindo drasticamente os custos de hosting
• Virtual Private Clouds permite a criação de
réplicas do ambiente de produção para testes
de escalabilidade e stress com uma facilidade
sem paralelos em soluções alternativas
• Startup fundada em 2004 e atualmente
líder na América Latina em gestão e
distribuição profissional de vídeos online.
• Suporta um tráfego anual de 15PB,
garantindo a entrega e análise de mais de
400 milhões de video views/mês.
• Os vídeos entregues pela Samba Tech
atingem 1 a cada 10 usuários únicos no
Brasil e geram
cerca de 2 Bilhões de requisições mensais.
“A AWS é um parceiro fundamental para a Samba Tech, ajudando a
transformar ideias inovadoras em realidade para nossos clientes.”
“A AWS oferece a
segurança e
escalabilidade
que a infraestrura da
Samba Tech precisa
para atender seus
diversos clientes em
toda América Latina.”
- Lídio Ramalho –
Head of IT
Sobre a Samba Tech e o Desafio
• A Samba Tech tem como desafio garantir a entrega com
qualidade e segurança de um grande volume de mídias,
mantendo alto o nível de SLA para atender a demanda
crescente dos seus diversos clientes.
• Além disso, existe a necessidade de uma infraestrutura
confiável e elástica para suportar o Analytics do Samba
Videos, solução que realiza o processamento de bilhões
de dados por mês para gerar informações precisas para
tomada de decisões estratégicas dos seus clientes.
• O modelo “on demand” da Amazon Web Services atende
de forma bastante aderente as necessidades da Samba,
suportando as grandes variações de demanda com
segurança e confiabilidade.
Benefícios alcançados
PARAGRAFO RESUMO
CASO _ KEY WORDS de
BENEFICIO, DESAFIO
VENCIDO – RESUMO DO
CASO EM UM
PARAGRAFO
•
• Inovação com baixo custo de infraestrutura e controle
dos gastos.
• Administração de infraestrutura simplificada, com
acesso rápido e fácil a capacidade adicional.
• O desempenho do SLA dobrou com a arquitetura
tolerante a falhas e de alta disponibilidade suportada
pelo AWS.
• Redução no ciclo de desenvolvimento com deploys 15x
mais rápidos e provisão de infraestrutura facilitada.
PARAGRAFO RESUMO
CASO _ KEY WORDS de
BENEFICIO, DESAFIO
VENCIDO – RESUMO DO
CASO EM UM
PARAGRAFO
Summary
= :) :)
Media can be made Scalable …
>> Secure
>> Flexible
>> Managed
>> Not expensive
Your Media In the Cloud
>> Highly Available
Better and Easier
Thank you
francov@amazon.com

Construindo sua Infraestrutura de Videos e Conteudos na Nuvem

  • 1.
    Franco Vieira Construindo suaInfraestrutura de Vídeos e Conteúdo na Nuvem SolutionsArchitect July 30th, 2013
  • 2.
    Vários Tutoriais ,treinamentos e mentoria em português Inscreva-se agora !! http://awshub.com.br
  • 3.
    Media Evolution How CloudScalability can be used for media workflows… Media workflows in the Cloud Really …
  • 4.
    Media Evolution Analog VCDDVD 720p 1080p (3D) 2K 4K SIZEUSERSFORMAT Ingest Storage Processing Delivery
  • 5.
    Media is gettingBetter …
  • 6.
    Media is gettingHarder …
  • 7.
    We need toolsthat can scale for Media …
  • 8.
  • 9.
    Concentrate on Better content LeaveHarder IT management to us …
  • 10.
  • 11.
    Media Ingest AWS Import/ Export AmazonS3 (multi-part Upload) AWS Storage Gateway Service AWS Direct Connect
  • 12.
    Media Ingest S3 Bucket S3SDK S3 Serverside S3 multi-part Upload Files
  • 13.
    Media Ingest S3 Bucket EC2Instance Running Aspera Media Files Aspera on-Demand Server FASP Instance RAM FASP Gateway
  • 14.
    Media Storage Amazon S3 Yourfiles - Faster access to massive compute capabilities - Many external products (hourly or BYOL) - Access to other processing vendors without having to move files around - Scalable Media Delivery
  • 15.
    Media Storage (inthe Cloud) Amazon S3 Amazon Glacier Single API access (regardless of the storage class) >Durability >>Scale >>>Cost Amazon S3 (RRS)
  • 16.
  • 17.
    Media Software AWS OnlineSoftware Store • Customer can find, research, buy software • Simple pricing, aligns with EC2 usage model • 1-Click launch in minutes • Marketplace billing integrated into your AWS account • 600+ products across 23 categories Developer Tool Categories Include • Media Servers • Transcoding • Media Publishing • Digital Asset Management
  • 18.
  • 19.
  • 20.
  • 21.
  • 22.
  • 23.
    Media Processing Time Capacity Launch ofnew device 1000’s of transcoders
  • 24.
  • 25.
    Processing Queue Amazon SWF Transcode Worker TranscodeWorker (Spot) Input files in S3 Slicer CMS Media Workflow AWS Import/ Export DRM Wrapper DRM Wrapper (Spot) SNS Streaming Server
  • 26.
  • 27.
    Processing Queue Amazon SWF Transcode Worker TranscodeWorker (Spot) Input files in S3 Slicer CMS Media Workflow AWS Import/ Export DRM Wrapper DRM Wrapper (Spot) SNS Streaming Server
  • 28.
    Amazon SWF Input andoutput in S3 Media Workflow AWS Import/ Export DRM Wrapper DRM Wrapper (Spot) SNS Streaming Server Amazon Elastic Transcoder
  • 29.
    Input and outputin S3 MediaTranscoding Amazon Elastic Transcoder • Video Transcoding in the Cloud • Familiar Development in AWS SDKs Python, Node.js, Java, .NET, PHP, and Ruby • Supports most popular formats (H.264 video with AAC audio in an MP4 container) • Free Usage Tier
  • 30.
    Media Delivery (inthe Cloud) Amazon S3 RTMP Streaming or Download Distribution Processed Media Files >Pay as you go >>Performance >>>Cost HTTP/HTTPS Amazon CloudFront
  • 31.
    CDN Edge Locations Dallas (2) St.Louis Miami JacksonvilleLosAngeles (2) Palo Alto Seattle Ashburn (2) Newark New York (3) Dublin London (2) Amsterdam (2) Stockholm Frankfurt (2) Paris (2) Singapore (2) Hong Kong (2) Tokyo (2) Sao Paulo South Bend San Jose Osaka Milan Sydney Hayward Madrid
  • 32.
    Media Delivery (Streaming) HDS/HLS/Smooth Streaming AmazonCloudFront EBS Instance Store EC2 StreamingInstance Amazon S3
  • 33.
    Media Reporting Amazon CloudFront AccessLogs Amazon S3 EMR Amazon Redshift Business Smarts
  • 35.
     Desde maiode 2004, o nosso maior objetivo é desenvolver plataformas de vídeo que possibilitem que qualquer pessoa crie, gerencie e monetize facilmente os seus vídeos na Internet.  Além de distribuir mais de quatro milhões de vídeos por mês para mais de sete milhões de pessoas, o Videolog conta com estatísticas avançadas de visualização possibilitadas pela estrutura da AWS. “Atingimos uma estabilidade incrível em nosso site, além de poder proporcionar novos produtos de qualidade aos nossos clientes, como o live streaming de vídeo”. “Estávamos com um custo altíssimo e desempenho abaixo do esperado, a AWS e seu suporte de alta qualidade transformou nossa realidade” Bruno Dulcetti
  • 36.
    O Desafio  OVideolog precisava aumentar a velocidade e o desempenho da sua infraestrutura. Com a ascendência constante de usuários, era necessário uma plataforma escalável e segura.  O suporte a infra tinha que ser diferenciado, sendo imprescindível um contato constante com os responsáveis pelo serviço.
  • 37.
    O Papel daAWS e Benefícios alcançados PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO  A estabilidade atingida com a Amazon Web Services possibilitou o Videolog a expandir seus produtos, oferecendo Live Streaming em vídeo e estatísticas avançadas de vídeos com o uso do DynamoDB, por exemplo.  A transmissão e compartilhamento de vídeo se tornou muito mais fácil com o uso da AWS, além da maior disponibilidade, temos uma grande quantidade de serviços agregados.
  • 39.
    • Líderes amais de uma década na implementação rápida de projetos relacionados a distribuição de áudio e vídeo, oferecendo softwares de alta confiabilidade, prontos para uso e testados para grandes audiências. • Com sedes no Brasil, EUA e Espanha, desde 1999 a OTT Networks criou um portfólio em serviços inovadores de distribuição de mídia digital para empresas no mundo inteiro Amazon Web Services tornou possível escalar quase que infinitamente a plataforma Media iBox A facilidade de gerenciamento de múltiplos ambientes de desenvolvimento na AWS não tem paralelo no mercado atualmente
  • 40.
    O Desafio • Encodingde áudio e vídeo requer grande quantidade de poder de processamento por períodos relativamente curtos de tempo • Como re-encodar todo o acervo de vídeo do Terra no menor tempo possível? • Gerenciamento de custos de encoding farms • Testes de escalabilidade de novos releases da plataforma
  • 41.
    O Papel daAWS e Benefícios alcançados PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO • Clonagem de máquinas permite a criação de encoding farms on-demand • API’s de administração da AWS permitiu o desenvolvimento de processos automatizados de desligamento de máquinas não utilizadas, reduzindo drasticamente os custos de hosting • Virtual Private Clouds permite a criação de réplicas do ambiente de produção para testes de escalabilidade e stress com uma facilidade sem paralelos em soluções alternativas
  • 43.
    • Startup fundadaem 2004 e atualmente líder na América Latina em gestão e distribuição profissional de vídeos online. • Suporta um tráfego anual de 15PB, garantindo a entrega e análise de mais de 400 milhões de video views/mês. • Os vídeos entregues pela Samba Tech atingem 1 a cada 10 usuários únicos no Brasil e geram cerca de 2 Bilhões de requisições mensais. “A AWS é um parceiro fundamental para a Samba Tech, ajudando a transformar ideias inovadoras em realidade para nossos clientes.” “A AWS oferece a segurança e escalabilidade que a infraestrura da Samba Tech precisa para atender seus diversos clientes em toda América Latina.” - Lídio Ramalho – Head of IT
  • 44.
    Sobre a SambaTech e o Desafio • A Samba Tech tem como desafio garantir a entrega com qualidade e segurança de um grande volume de mídias, mantendo alto o nível de SLA para atender a demanda crescente dos seus diversos clientes. • Além disso, existe a necessidade de uma infraestrutura confiável e elástica para suportar o Analytics do Samba Videos, solução que realiza o processamento de bilhões de dados por mês para gerar informações precisas para tomada de decisões estratégicas dos seus clientes. • O modelo “on demand” da Amazon Web Services atende de forma bastante aderente as necessidades da Samba, suportando as grandes variações de demanda com segurança e confiabilidade.
  • 49.
    Benefícios alcançados PARAGRAFO RESUMO CASO_ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO • • Inovação com baixo custo de infraestrutura e controle dos gastos. • Administração de infraestrutura simplificada, com acesso rápido e fácil a capacidade adicional. • O desempenho do SLA dobrou com a arquitetura tolerante a falhas e de alta disponibilidade suportada pelo AWS. • Redução no ciclo de desenvolvimento com deploys 15x mais rápidos e provisão de infraestrutura facilitada. PARAGRAFO RESUMO CASO _ KEY WORDS de BENEFICIO, DESAFIO VENCIDO – RESUMO DO CASO EM UM PARAGRAFO
  • 50.
  • 51.
    = :) :) Mediacan be made Scalable … >> Secure >> Flexible >> Managed >> Not expensive Your Media In the Cloud >> Highly Available Better and Easier
  • 52.