SlideShare uma empresa Scribd logo
1 de 56
“PESQUISA DA MELHOR
MÉTRICA PARA O QoE,
POR FALHAS CAUSADAS ​​
POR REDES IP”
O ecossistema do vídeo IP
• A percepção do usuário relativo à qualidade é influenciada
por vários elementos associados com a entrega do serviço
ponto a ponto:
 A rede de dados,
 Os equipamentos,
 A codificação de dados,
 Os protocolos e terminais,
• Garantir os serviços de alta qualidade, desde a baixa
exigência para a banda larga em tempo real, independente da
rede de acesso é o grande desafio para as operadoras.
• Serviços de transmissão de vídeo exigem recursos
substanciais e a relação entre o domínio físico dos parâmetros
da rede e de percepção do usuário não são lineares (máxima
qualidade com o mínimo de recursos).
Parâmetros de desempenho
• O serviço de IPTV é altamente sensível à perda de pacotes
• O impacto dessa perda de pacotes depende de vários
fatores:
 Algoritmo de compressão (MPEG2, H.264)
 Estrutura do GOP
 Tipo de informação perdida (I, P, B frame)
 Desempenho do codec (codificação, decodificação)
 Complexidade do conteúdo do vídeo
 Cancelamento de erro no set-box
O que é necessário?
• Abordagens de monitoramento da rede no cenário atual são
inadequadas.
 A perda de pacotes, jitter, atrasos, largara de banda, etc.
 Operadoras medem apenas os parâmetros da rede (garantia de
serviço).
 Qualidade de Serviço (QoS).
 Não é tão simples como a perda de bits... mas é onde os bits estão
localizados em um quadro.
• Efeito visual da perda de pacotes pode variar de zero a
impactos desastrosos.
 Parâmetros mais avançados são necessários.
 Necessidade de analisar o conteúdo do vídeo.
 O que o espectador percebe ... não a rede.
 Qualidade da Experiência (QoE).
O que esta sendo medido?
Qualidade de Serviço
• Atraso
• Jitter
• Perda de pacotes
• Largura de Banda
Qualidade da Experiência
• Blocking
• Blurring
• Freezing
• Noise
• Contouring
• Ringing
• Smearing
• Ghosting
Os desafios do vídeo nas redes IP
Perfis de trafego de
demanda
 Fluxos de alta largura de banda
 Alto volume de trafego
 Ao vivo, VoD
Efeitos da Rede
 Vídeo tem um impacto forte
com pequenos problemas na rede
 Equipamentos de diferentes
fornecedores tem dificuldade no
diagnostico/solução (interoperabilidade)
Altas expectativas do
usuário final
 Definida por décadas de historia.
 Aumentou rapidamente com o HD
 Baixa tolerância para a qualidade
pobre
Novas arquiteturas
 Processamento de vídeo sensível a
dispositivos cria possibilidade de varias
fontes de falhas
 Middleware
Degradação
na qualidade
de serviços
Diagnostico
difícil na
resolução de
problemas
Fontes de problemas de vídeo
Falhas na
qualidade da
fonte
 Qualidade pobre
dos provedores de
conteúdo
Falhas na
Codificação/
Decodificação
 Jitter
 Problemas
específicos no CODEC
 Problemas de
Compressão
 Latência entre
vídeo e áudio
 Degradação na
qualidade da imagem
Falhas na Rede
 Perda de pacotes, atraso, Jitter,
largura de banda
 Complexidade da imagem e
variações de largura de banda
 Impacto de perda de pacotes
nos quadros I/P/B
 Impacto de falhas na rede nas
Imagens espacial e temporal e
Impacto na qualidade do vídeo
 Variação dos componentes de
luminancia e crominancia.
Falhas na
Decodificação
 Problemas de
qualidade de áudio
e vídeo no set-box
O que podemos medir (métricas do QoE)
• Usando medições para avaliar o vídeo, é possível isolar
problemas de codificação de problemas de transporte:
 Efeitos de “tilling” são normalmente causados ​​por taxa de bits
insuficientes para os requerimentos dos detalhes da imagem, mais do que
qualquer defeito no fluxo TS – “transport stream” (erros de PCR, perda de
pacotes, etc).
 Artefatos de “blockiness” são tipicamente devido à perda de dados –
perda de pacotes, jitter, ou problemas no formato do TS.
Fonte: Tektronix
Monitoração do QoE (pontuação do vídeo)
• Pontuação de centenas de fluxos de vídeo, com base em
experiências de clientes (QoE), em tempo real, de forma
contínua e simultânea.
Tela de captura de um clip de video com baixa pontuação do VQE
Fonte: Tektronix
QoS vs. QoE
• Qualidade de Serviço (QoS) refere-se à capacidade de
uma rede para fornecer um melhor serviço para o tráfego de
rede selecionado sobre várias tecnologias. QoS é uma
medida de desempenho no nível do pacote a partir da
perspectiva de rede.
• Qualidade da Experiência (QoE) descreve o desempenho de
um dispositivo, sistema, serviço ou aplicação (ou qualquer
combinação dos mesmos) do ponto de vista do usuário. QoE é
uma medida de desempenho ponto a ponto no nível de serviço
a partir da perspectiva do usuário.
QoS vs. QoE
• Qualidade de Serviço
 Centrado na Rede
 Atraso, perda de
pacote, jitter
 Qualidade de transmissão
 Conteúdo agnóstico
• Qualidade da experiência
 Falhas de conteúdo
 Blocking, Blurring, etc.
 Qualidade no usuário final
 Aplicativos dirigidos
QoS QoE
QoS vs. QoE
Mesma Falha na Rede
Perda de Pacote: 1%
Atraso: 10ms
Jitter: 50us
Largura de Banda: 500kbps
Diferença percebida na qualidade.
PSNR vs. QoE
Mesmo valor de distorção (PSNR) – diferença na qualidade percebida
Compreensão do sistema de visão humana
QoE vs. MOS
• Mapeamento entre o valor da “Avaliação de Qualidade da
Experiência” e o MOS (Mean Opinion Score - ITU / T P.800)
QoE
MOS
QMAX
5
4
3
2
1
MDI vs. QoE
• Índice de entrega de mídia (MDI)
• O MDI consiste de duas métricas:
 Fator de atraso (DF)
 Taxa de perda de midia (MLR)
• Limitações do MDI:
 O MDI considera um trafego com taxa de bit constante
(CBR)
 O MDI não considera o “payload” do vídeo ou o conteúdo
 Os Valores do MDI não são intuitivos
 O MDI não se correlaciona com a qualidade de vídeo
MDI vs. QoE
0
1
2
3
4
5
V-FACTOR
0
500
1000
1500
2000
2500
3000
MediaLoss
Jitter
1 to 50ms
Packet Drop
1 in 500 periodic
Packet Drop
1 in 500 poisson
Packet Drop
1 in 500 uniform
Packet Drop
1 in 500 and Jitter
Duplicate Packets
1 in 10
Duplicate Packets
1 in 500
Reordering Packets
1 in 500
PerdadeMídiaMOS
Fonte:Cisco
Impacto do atraso no Q0S
G.114_F010 100 200 300 400 500
50
60
70
80
90
100
Nearly all
users
dissatisfied
Many users
dissatisfied
Some users
dissatisfied
Users
satisfied
Users
very satisfied
Mouth-to-ear-delay/ms
E-modelratingR
Fonte: ITU
Impacto da perda pacotes no usuário final
G.729A Packet Loss Performance
50
60
70
80
90
100
0 100 200 300 400 500
One-way Delay (ms)
R
G.711 @ PL = 0%
G.729A @ PL = 0%
G.729A @ PL = 1%
G.729A @ PL = 2%
G.729A @ PL = 3%
G.729A @ PL = 4%
Exceptional
limiting case
Very
satisfactory
Satisfactory
Some users
dissatisfied
Many users
dissatisfied
User Satisfaction
PL = Packet Loss
G.729A
G.711 Reference
Fonte: ITU-T PESQ P.862 standard
Ciclo do QoS/QoE
• ITU-T Rec. G.1000 e COM12–C185–E
QoE
Desejada
QoE
Percebida
QoS
Direcionada
QoS
Entregue
Usuário Final Provedor serviço
Diferença de percepção
Diferença valor Diferença de execução
Diferença de cooperação
Abordagem de referencia completa
• Comparação de quadros de vídeo individuais
• Analise offline (captação é requerida)
• Alto detalhe e precisão
• Procedimento de alinhamento
Sistema
Transmissão/
Compressão
Emissor Receptor
Informação referencia completa
Vídeo Vídeo
Medida de
Qualidade FR
Abordagem sem referencia
• Não intrusiva, medida em operação
• Aplicações de monitoramento em tempo real
• Nenhum alinhamento é necessário
Sistema
Transmissão/
Compressão
Emissor Receptor
Vídeo Vídeo
Medida de
Qualidade NR
O VQM ( Video Quality Metric)
• Sem referência
• Avalia a qualidade do vídeo como percebida pelo usuário
 QoS → QoE
• Baseado em MPEG2
• Análise superficial
 Não analisa os vetores de movimento, coeficientes DCT, e outras
informações de degradação especificas dos macroblocos devido a
perda de pacotes, sendo a falha estimada utilizando apenas informações
de alto nível contidas no grupo de imagens, quadros e cabeçalhos
dos “slices”.
• Não precisa fazer suposições sobre como o decodificador
lida com as informações corrompidas
 ou seja, que tipo de estratégia de cancelamento de erro ele utiliza
O VQM ( Video Quality Metric)
• Com base nestas informações ele determina exatamente
quais “slices” estão perdidos;
 Taxa de perdas do GoP
 Taxa de perda de quadros
 Taxa de perda do “slice”
 A diferenciação por tipo de quadro (I, P, B)
• Ele calcula como o erro de perdas dos “slices” se propaga
de forma espacial e temporal
• Apropriado para medir a qualidade de vídeo em um modelo
em tempo real dentro de uma rede.
O VQM ( Video Quality Metric)
Medida de Qualidade
00
11
00
10
11
01
01
10
10
11
10
10
10
10
00
01
01
01
MPEG-2videobitstream
DECODER
Fluxo de vídeo decodificado
HEADERS
Métricas de Rede e Conteúdo
Falhas da Rede
• Perda de Pacotes
• Atraso
• Jitter
• Largura de Banda
Fluxo de Vídeo
Rede de Dados
Falhas de Conteúdo
• Blockiness, blur
• Jerkiness
• Freeze
• Noise
Dados Vídeo
L1, L2 (Ethernet MPLSCamada 3 (IP, UDP)Camada 4 (MPEG-2) Conteúdo Áudio/Vídeo
Modelo do sistema de visão
humana (dispositivo correlação)
Relatório de
Qualidade
de Vídeo
QoE ponto a ponto
Completa analise de conteúdo
(pixel a pixel)
Fonte de conteúdo e validação
encoder / transcoder
Modelo do sistema
de visão humana
Relatório de
Qualidade
do Vídeo
Falhas de conteúdo:
• Blockiness, blur
• Jerkiness
• Freeze
• Noise, Color
Falhas da rede:
• Perda de pacotes
• Atraso
• Jitter
• Largura de banda
Analise do fluxo de conteúdo:
• Inspeção PES (Packetize elementary stream)
• PCR (Program Clock Reference) jitter.
Completa analise de conteúdo
(fluxo de bits)
Detecta falhas de conteúdo
Completa inspeção para conteúdos
associados a dados codificados (exp:
TS1 = I-Frame)
Analise da rede (header ou stream)
Detecta problemas no QoS
Analise de conteúdo onde é possível (sem
criptografia)
Inspeção do QoS para dados codificados
associados para falhas(exp: TS1 = Perda de Pacotes)
Q-Advisor
Dispositivo
Correlação
TS1 = I-Frame
TS1 = Perda de Pacotes
Perda de Pacotes-> I-Frame
Fonte: Tektronix
Exemplo de um experimental “testbed”
Servidor de
Vídeo
Controlled-Loss
Roteador
Video decodificado
no cliente
+
Medidor de
qualidade
• Caracteristicas do vídeo:
 MPEG2-TS
 Taxa de bit constante: 3.9Mbps
Perda de
Pacotes
Exemplo: Modelagem de auto-congestionamento
para programação de pacotes
• Taxa de distorção otimizada de programação de pacotes
normalmente pressupõe uma função densidade de probabilidade
(pdf) para atrasos independentes em transmissões de pacotes
sucessivos (Chou, M., 2001).
• Um modelo de atraso da “pdf” por exponencial com variação
de deslocamento.
Distribuição
deprobabilidade
atrasos
Alta qualidade
Throughput:
5 Mbps
Media qualidade
Throughput:
4 Mbps
Baixa qualidade
Throughput:
5 Mbps
As métricas de qualidade do QoE
• Os tipos de avaliação de qualidade da imagem:
 Avaliação subjetiva da qualidade
 Avaliação objetiva da qualidade
• Desenvolvimento de métodos de ensaio subjetivos e modelos
objetivos
 Percepção multimodal de vídeo
 Dependência de conteúdo
 Projeto de métricas quantificáveis ​​para a qualidade percebida (vídeo)
Objetivo da pesquisa
• Avaliar o QoE pela normalização de um dos parâmetros do
QoS vinculado a perda de pacotes que ocorrem nas transmissões
de vídeo sobre redes IP, com o objetivo de avaliar a qualidade da
imagem e fornecer as melhores métricas de qualidade que possam
predizer a qualidade de imagem percebida automaticamente.
• A partir da métricas pesquisadas será possível uma melhor
compreensão da percepção do usuário em relação às distorções
espaciais e temporais do streaming” de dados de vídeo através de
redes IP e, como esse padrão de perda geral contribui para a
degradação da sua qualidade.
Objetivos da pesquisa
• Este trabalho tem como objetivo investigar as possíveis correlações
entre o QoE percebido pelo usuário e as características de tráfego a
nível de rede procurando a melhor métrica para a avaliação do QoE:
 Analisar, de um lado as relações quantitativas entre o QoE e, os parâmetros do
QoS, tais como a taxa de perdas de pacotes, o tempo de download e a taxa de
transferência obtidas a partir de experimentos através da perspectiva do usuário
final,
 Investigar as correlações entre as características do tráfego (volumes de
sessão) e os critérios de desempenho, tais como taxas de perda de pacotes, taxa
de transferência, medidas em uma rede operacional,
 A comparação qualitativa do QoE e volumes de sessão através da taxa de
transferência e taxa de perdas de pacote indica um crescimento nos volumes de
sessão, com a melhoria do QoE,
• Tal estimativa da melhor métrica do QoE pode ajudar os ISP a
monitorar continuamente o nível de satisfação do usuário, reagir em
tempo útil e de forma adequada para corrigir os problemas de
desempenho e, portanto fornecer os serviços de acordo com as
expectativas do usuário.
O impacto do desempenho da rede no QoE
• O objetivo na analise é correlacionar a qualidade no nível
da rede de Serviço ( QoS ) para a Qualidade da Experiência
(QoE ) percebida pelos usuários.
 O trabalho procura associar, por um lado às correlações entre várias
características de tráfego medido em uma rede IP e do outro lado a
experiência do usuário testado nessa rede,
 Pesquisar a melhor métrica para o QoE, por falhas causadas por redes
IP, observando algumas tendências pronunciadas sobre as relações entre
os dois tipos de resultados,
 Validar como e em que medida o volume de sessões de usuários
representam o nível de satisfação do usuário,
 Verificar as relações clássicas entre alguns dos indicadores de
desempenho de rede, tais como perda de pacotes, o tempo de download e
a taxa de transferência, a fim de fortalecer o entendimento desse impacto
sobre o QoE.
O impacto do desempenho da rede no QoE
• Esse trabalho procura associar, por um lado às correlações
entre as várias características de tráfego medido em uma rede IP e do
outro lado a experiência do usuário testado nessa rede relativo ao:
 Comportamento dos usuários caracterizados através de várias métricas de
trafego que mostrem uma forte correlação com o desempenho a nível de rede
, mesmo que a reação dos protocolos possam também ter um impacto.
 Novos métodos que estão sendo propostos para deduzir automaticamente
medições passivas para uma rede IP a percepção do usuário.
 Os limiares sobre os níveis de QoS que possam ser deduzidas a partir
destas medições, e a partir do ponto em que algumas características do
tráfego comecem a mudar, até ao ponto em que não existe qualquer conexão
bem sucedida.
 A utilização de um método abrangente clássico, baseado em experiências
com um banco de ensaio e o método passivo automático de analisar as
correlações entre algumas características de tráfego e alguns critérios de
desempenho.
O impacto da utilização do serviço em
relação ao desempenho da rede no QoE
• A pesquisa da melhor métrica (em volume) de um serviço,
como uma função da qualidade percebida e como ela se
relaciona com a classificação subjetiva pelos usuários tem como
finalidade:
 Uma análise abrangente sobre o comportamento do usuário nos
diferentes níveis de desempenho do serviço através de ambas às medidas
objetivas e subjetivas,
 A avaliação da correlação de classificação subjetiva do serviço pelos
usuários, com um conjunto de parâmetros de desempenho de serviço
(relações entre esses parâmetros chaves serão analisados e comparados),
 Uma visão quantitativa sistemática sobre os efeitos de perdas na rede
em ambos os parâmetros objetivos e subjetivos,
 Uma analise dos valores limites significativos de desempenho do
serviço em concordância com a percepção do usuário (banco de ensaio),
 A correlação de características de tráfego de grupos de usuários com
diversas métricas de desempenho de rede (baseada no tráfego
operacional gerado por usuários reais em uma rede IP).
Macro mudanças na tecnologia de vídeo da
Internet (redes IP)
• Entrega de conteúdo a custos baixos fazem com que os serviços
baseados em assinatura tendam a subir:
 Tráfego de vídeo na Internet deverá aumentar, possivelmente
superando a audiência baseada na televisão sedimentando a TV do
futuro (OTT)
• Muitas empresas: provedores de conteúdo, redes de entrega de
conteúdo (CDN), programadores de reprodutores de vídeo e os
usuários.
Vídeo (100x crescimento de tráfego)
Outras Aplicações(10 x crescimento de tráfego)
O que significa para a Internet se
95% do trafego for vídeo?
Plataforma de vídeo na Internet (redes IP)
Fonte de
Vídeo
Encoders &
Servidores
Vídeo
CMS and
Hosting Rede de entrega
de conteúdo (CDN)
ISP & Home Net
Tela
Reprodutor de
Vídeo
Componentes chave: Reprodutor de vídeo & CDN
Novas noções de qualidade para o vídeo
em redes IP
• Avaliação da qualidade: vídeo em redes IP usando HTTP
sobre CDN.
 Em grande parte confiável, por isso a "perda" (PSNR) não é tão
relevante.
 Novo cenário: buffering, bitrate, taxa de quadros, comutação da
taxa de bits e o atraso de inicialização.
• Avaliação da experiência: através de anúncios, assinaturas e
opiniões com estudo controlado objetivando o comprometimento
com as empresas.
 Novo cenário: fração do vídeo reproduzido e o número de visitas
ao provedor.
Métricas do QoE são insuficientes
• Reprodutores de vídeo adaptativos fazem
compensações em redes ad hoc para o bitrate
, atraso de inicialização e armazenamento em
buffer.
• Estruturas de otimização para múltiplos
CDNs usam métricas primitivas de QoE que
somente capturam o buffering, a comutação e
não o bitrate.
• Os provedores de conteúdo não tem
nenhuma maneira sistemática para avaliar
vantagens e desvantagens em termos de
custos e de desempenho de diferentes CDNs.
Tela
Reprodutor de
vídeo
500Kbps 1Mbps 2Mbps
Medição robusta do QoE
• Necessidade de uma compreensão uniforme.
 Conjunto de métricas da qualidade agrupadas afetam o impacto
da avaliação, sendo preferível do que cada uma isoladamente.
• Necessidade de uma compreensão quantitativa.
 Existem vantagens e desvantagens para cada métrica, por
exemplo, bitrates mais baixos significam um menor buffer, mas
reduz a qualidade de conhecimento quantitativo.
 Mudança da métrica M de x para y muda o compromisso do cliente
de a para b.
ISP & Rede de Casa
Reprodutor de
vídeo
Inicio da
perspectiva
do usuário?
Fatores chaves para a avaliação da
qualidade de vídeo IP pelo QoE
• Relações entre as métricas e a experiência do usuário são
complexas, até mesmo contra intuitivo.
 Por exemplo, quanto maior o bitrate nem sempre teremos a mais
alta qualidade.
• Métricas interdependentes e compensações
 Por exemplo, a mudança de qualidade reduz o buffering, mas pode
incomodar os usuários.
• Natureza dos conteúdos podem confundir fatores.
 Por exemplo, vídeo ao vivo (live) e sobre demanda (on demand)
têm diferentes padrões de visualização.
Finalidades
• Identificar métricas quantitativas do QoE que sejam robustas e unificadas.
• Lançar métricas do QoE como um problema de aprendizagem de máquina.
 Criar modelos apropriados para prever o engajamento (por exemplo,
tempo de reprodução) em função de métricas de qualidade.
• Efeitos induzidos por conteúdo abordado usando medidas específicas de
domínio.
1% aumento no
buffering reduz o
engajamento de 3
minutos
Fonte Conviva
Uso de casos do QoE para vídeo sobre IP
• Netflix avalia objetivamente o CDN.
 Também otimiza por multi-CDN.
• CDN distribui de forma eficiente os
recursos para os usuários.
• Reprodutores de vídeo fazem
compensações (taxa de bits versus
buffer).
• Usuários fazem escolhas além do
conteúdo.
• Conjunto de métricas de qualidade.
• Necessita de dados em estrutura real
e não estudos em ambientes controlados.
Complexo relacionamento (métricas vs QoE)
• Efeitos contra intuitivo.
• Qualidade superior do vídeo deveria ter maior envolvimento do
usuário.
• Por outro lado a baixa qualidade do vídeo levou a tempos maiores
de reprodução (para o vídeo live, a baixa qualidade significa baixo
uso da CPU. Para vídeos com alta qualidade a sessão foi encerrada.
• Efeitos não-monótonos.
 Maior bitrate médio nem sempre tem qualidade superior.
 Valores de bitrate em passos discretos. Quando a media entre os
passos significar uma comutação pode irritar o usuário.
• Efeitos no limiar
• Taxas acima de 0,5 comutações/minuto nenhum efeito no
envolvimento do usuário final. Taxas mais elevadas o usuário final
encerra a sessão mais cedo.
Interação entre métricas do QoE
• Comutação e Buffering
 Deve comutar de forma proativa para evitar o buffer (acima do limiar
ocorre perda no engajamento).
• Tempo de se conectar.
 Taxa de bits mais alta implica em uma maior qualidade, mas também
significa que leva mais tempo para iniciar (preenchimento do buffer).
Um modelo preditivo para a inferência QoE
• Engajamento = f({Métrica Qualidade})
 Engajamento: por exemplo, tempo de reprodução, visitas ao site.
 Métrica Qualidade: por exemplo, buffering, bitrate.
• Dependências e relações ocultas tratadas através da
aprendizagem de máquina.
 Desde que não sejam suficientemente grandes o conjunto de dados
(felizmente, os provedores de conteúdo agrupam - por exemplo o Netflix).
• Efeitos de combinação abordados por conhecimentos
específicos de domínio.
 Selecionar os dados de entrada e alimentar a introdução.
 Identificar as características de combinação e deixar o algoritmo
manipular.
Um modelo preditivo para a inferência QoE
Qual é a qualidade de vídeo em redes IP
vinculada ao QoE no cenário atual?
• O que é a mais alta qualidade de vídeo?
 Evitar falhas de inicialização,
 Iniciar o vídeo rapidamente,
 Reproduzir o vídeo sem problemas e sem interrupções,
 Reproduzir o vídeo na taxa de bits mais alta possível.
• Coletar as estatísticas do reprodutor de vídeo é a melhor
maneira de medir a qualidade de vídeo sobre IP
 O reprodutor de vídeo interage com vários serviços pertencentes a
várias empresas sendo o ponto único que esta em todas as interações,
 Com taxas de bits adaptáveis e tecnologias com múltiplos CDNs, um
único servidor ou CDN não tem as informações completas de qualidade
para um cliente,
Monitoramento do reprodutor de vídeo:
modelo do reprodutor
ReproduzindoJuntando
Estados
Reprodutor Reprod.
Tempo
Estados do
Reprodutor
Eventos
Monitoramento
do reprodutor
Ação do
usuário
Buffer de
vídeo vazio
Parada
Saída
Buffer
de vídeo
preenchido
Taxa de download vídeo
Largura de banda disponível
Perda de quadros
Taxa de renderização do quadro
Rede:
Streaming
Conexão
Estabilização
Buffer torna
a encher
suficientemente
BufferingRatio(BR)
RateOfBuffering(RB)
AvgBitrate(AB)
RenderingQuality(RQ)
JoinTime (JT)
Exemplo de um resumo de qualidade no
provedor
• 31,68% de visualizações
tiveram problemas de qualidade.
• 32,2% dos usuários tiveram
problemas recorrentes de
qualidade.
• Boa qualidade de vídeo
para todos o usuário pode
adicionar 10,9% mais de
minutos de vídeo visualizados. 68.3
25.3
5.7
0.68
Total de
Visualizações
!!
"#$%&!' ( ) %*+!
X
video buffered
67.8
32.2
100.9
62.2
0 50 100 150
Minutos por Usuário
Poor Quality Viewers
Good Quality Viewers
Total Visualizações = 66,44,79,19
Total Usuários = 3.291.204
Total Minutos Visualizados = 290.260.395
video não iniciou
video tem baixa resolução
video tem boa qualidade
Visualização qualidade
ruim
Visualização qualidade
boa
Fonte Conviva
Bibliografia
1. Arlos P (2005) On the quality of computer network measurements.Ph.D. Thesis,
Blekinge Institute of Technology, Karlskrona, Sweden.
2. Collange D, Costeux JL (2007) Correlation of packet losses with some traffic
characteristics. Proceedings of the Passive and Active Measurements Conference
(PAM 2007), Louvaine-la-Neuve, Belgium.
3. Collange D, Costeux JL (2008) Passive estimation of quality of experience. J.
Univers Comput Sci 625–641.
4. Fasterfox-performance and network tweaks for Firefox. http://fasterfox.mozdev. org/
(last seen: July 21, 2009).
5. Fiedler M, Chevul S, Isaksson L, Lindberg P, Karlsson J (2005) Generic
communication requirements of ITS-Related Mobile Services as Basis for Seamless
communication. Proceedings of the 1st EuroNGI conference on Next Generation
Internet Networks (NGI’05), Rome, Italy, pp. 426–433.005).
6. Fiedler M, Chevul S, Radtke O, Tutschku K, Binzenhöfer A (2005) The network
utility function: a practicable concept for assessing network impact on distributed servi
ces. Proceedings of the 19th International Teletraffic Congress (ITC-19), Beijing,
China.
7. Garcia J, Hurtig P, Brunström A (2008) The effect of packet loss on the response
time of web services. Proceedings of 3rd International Conference on Web
Information Systems and Technology (WebIST2007).
Bibliografia
8. HoBfeld T, Tran-Gia P, Fiedler M (2007) Quantification of Quality of Experience for
edge-based applications. Proceedings of the 20th International Teletraffic Congress
(ITC-20), Ottawa, Canada.
9. International Telecommunication Union (2001). ITU-T Recommendation G. 1010:
end-user multimedia QoS categories.
10. International Telecommunication Union (2005). ITU-T Recommendation G. 1030:
estimating end-to-end performance in IP networks for data applications.
11. International Telecommunication Union (2003). ITU-T Recommendation P.800.1:
mean Opinion Score (MOS) terminology.
12. Khirman S, Henriksen P (2002) Relationship between Quality-of-Service and
Quality-of-Experience for Public Internet Service. Proceedings of Passive and Active
Measurement (PAM2002), Fort Collins, Colorado, USA.
13. Nychis G, Sardesai G, Seshan S (2009) Analysis of XCP in a wireless environment
http://www.contrib.andrew.cmu.edu/~gnychis/xcp_wireless.pdf (last seen: July 21).
14. Padhye J, Firoiu V, Towsley D, Kurose J (1998) Modelling TCP throughput: a
simple model and its empirical validation. ACM Sigcomm, Vancouver Canada, pp.
303–314.
15. Rossi D, Mellia M, Casetti C 2003() User patience and the web. Proceedings of
IEEE GLOBECOM, San Francisco, USA.
Bibliografia
16. Vicari N, Köhler S (2000) Measuring internet user traffic behavior dependent on ac
cess speed. 13th ITC Specialist Seminar on IP Traffic Measurement, Modeling and
Management, Monterey, CA, USA.
17. Ganjam A (2010) Bringing Internet Video to Prime Time. Paper Conviva, USA.
Banco de dados vídeo
1. The Consumer Digital Video Library
http://www.cdvl.org/index.php

Mais conteúdo relacionado

Destaque (8)

Climas del mundo
Climas del mundoClimas del mundo
Climas del mundo
 
Improvement of Image Using Fuzzy Techniques Networks
Improvement of Image Using Fuzzy Techniques Networks Improvement of Image Using Fuzzy Techniques Networks
Improvement of Image Using Fuzzy Techniques Networks
 
Los Joyas 20 sec
Los Joyas 20 sec Los Joyas 20 sec
Los Joyas 20 sec
 
Production
ProductionProduction
Production
 
Herramintas web2.0
Herramintas web2.0Herramintas web2.0
Herramintas web2.0
 
Mónica gisella bejeguen pin
Mónica  gisella bejeguen pinMónica  gisella bejeguen pin
Mónica gisella bejeguen pin
 
Argosy Info-sheet-web10 21-13
Argosy Info-sheet-web10 21-13Argosy Info-sheet-web10 21-13
Argosy Info-sheet-web10 21-13
 
Performance Indicators in the Area of Telecommunications for the Legacy of th...
Performance Indicators in the Area of Telecommunications for the Legacy of th...Performance Indicators in the Area of Telecommunications for the Legacy of th...
Performance Indicators in the Area of Telecommunications for the Legacy of th...
 

Semelhante a Melhor métrica para QoE causada por falhas de rede IP

Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...
Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...
Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...Júlio César Magro
 
Broadcast day 2011_tektronix
Broadcast day 2011_tektronixBroadcast day 2011_tektronix
Broadcast day 2011_tektronixSSPI Brasil
 
Agility Networks - F5 GTM v20131009a
Agility Networks - F5 GTM v20131009aAgility Networks - F5 GTM v20131009a
Agility Networks - F5 GTM v20131009aAgility Networks
 
WebTV: Um novo método para assistir TV.
WebTV: Um novo método para assistir TV.WebTV: Um novo método para assistir TV.
WebTV: Um novo método para assistir TV.Rafael Macedo
 
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...Joao Galdino Mello de Souza
 
DevDays2009 - Construir Soluções de Internet Video
DevDays2009 - Construir Soluções de Internet VideoDevDays2009 - Construir Soluções de Internet Video
DevDays2009 - Construir Soluções de Internet VideoJoao Canais
 
TradeTech Brazil 2011 - O Desafio Da Latencia
TradeTech Brazil 2011 - O Desafio Da LatenciaTradeTech Brazil 2011 - O Desafio Da Latencia
TradeTech Brazil 2011 - O Desafio Da LatenciaJose Ricardo Maia Moraes
 
VíDeo Digital
VíDeo DigitalVíDeo Digital
VíDeo Digitalswsocial
 
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03Lúcio Pinto da Costa Junior
 
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...Implementando, Administrando e Gerenciando o Microsoft Office Communications ...
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...brunoestrozi
 
Vantagens e desvantagens de uma arquitetura microservices
Vantagens e desvantagens de uma arquitetura microservicesVantagens e desvantagens de uma arquitetura microservices
Vantagens e desvantagens de uma arquitetura microservicesFábio Rosato
 
Broadcast day-2007-newtecdvb-s2
Broadcast day-2007-newtecdvb-s2Broadcast day-2007-newtecdvb-s2
Broadcast day-2007-newtecdvb-s2SSPI Brasil
 

Semelhante a Melhor métrica para QoE causada por falhas de rede IP (20)

Vod - Video on Demand
Vod - Video on DemandVod - Video on Demand
Vod - Video on Demand
 
Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...
Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...
Módulo de Análise de Parâmetros de Qualidade de Serviço em Aplicações de Áudi...
 
Broadcast day 2011_tektronix
Broadcast day 2011_tektronixBroadcast day 2011_tektronix
Broadcast day 2011_tektronix
 
Agility Networks - F5 GTM v20131009a
Agility Networks - F5 GTM v20131009aAgility Networks - F5 GTM v20131009a
Agility Networks - F5 GTM v20131009a
 
WebTV: Um novo método para assistir TV.
WebTV: Um novo método para assistir TV.WebTV: Um novo método para assistir TV.
WebTV: Um novo método para assistir TV.
 
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...
APM: Gerenciamento de Desempenho de Aplicações - Monitoramento de rede VOIP, ...
 
Cap06a
Cap06aCap06a
Cap06a
 
DevDays2009 - Construir Soluções de Internet Video
DevDays2009 - Construir Soluções de Internet VideoDevDays2009 - Construir Soluções de Internet Video
DevDays2009 - Construir Soluções de Internet Video
 
TradeTech Brazil 2011 - O Desafio Da Latencia
TradeTech Brazil 2011 - O Desafio Da LatenciaTradeTech Brazil 2011 - O Desafio Da Latencia
TradeTech Brazil 2011 - O Desafio Da Latencia
 
RI-8.pdf
RI-8.pdfRI-8.pdf
RI-8.pdf
 
An assessment of the impact of the use of the MPEG DASH in network, as a fun...
An assessment of the impact of the use of the  MPEG DASH in network, as a fun...An assessment of the impact of the use of the  MPEG DASH in network, as a fun...
An assessment of the impact of the use of the MPEG DASH in network, as a fun...
 
VíDeo Digital
VíDeo DigitalVíDeo Digital
VíDeo Digital
 
Projeto Parceria do Conhecimento - Digitalização Jornalismo
Projeto Parceria do Conhecimento - Digitalização JornalismoProjeto Parceria do Conhecimento - Digitalização Jornalismo
Projeto Parceria do Conhecimento - Digitalização Jornalismo
 
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03
TCC.INATEL.VIVO.RJ.T66.2011.Lúcio.Pinto.Costa.Junior_v03
 
Avaliação Subjetiva pelo MOS (Mean Opinion Score)
Avaliação Subjetiva pelo MOS (Mean Opinion Score)Avaliação Subjetiva pelo MOS (Mean Opinion Score)
Avaliação Subjetiva pelo MOS (Mean Opinion Score)
 
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...Implementando, Administrando e Gerenciando o Microsoft Office Communications ...
Implementando, Administrando e Gerenciando o Microsoft Office Communications ...
 
Palestra TV Digital
Palestra TV Digital Palestra TV Digital
Palestra TV Digital
 
Vantagens e desvantagens de uma arquitetura microservices
Vantagens e desvantagens de uma arquitetura microservicesVantagens e desvantagens de uma arquitetura microservices
Vantagens e desvantagens de uma arquitetura microservices
 
Broadcast day-2007-newtecdvb-s2
Broadcast day-2007-newtecdvb-s2Broadcast day-2007-newtecdvb-s2
Broadcast day-2007-newtecdvb-s2
 
Budget Webcast
Budget WebcastBudget Webcast
Budget Webcast
 

Mais de VISIONO - Integrated Solutions and Systems in Security

Mais de VISIONO - Integrated Solutions and Systems in Security (16)

Folder VISIONO
Folder VISIONOFolder VISIONO
Folder VISIONO
 
Improvement of Image Using Fuzzy Techniques Networks
Improvement of Image Using Fuzzy Techniques Networks Improvement of Image Using Fuzzy Techniques Networks
Improvement of Image Using Fuzzy Techniques Networks
 
Expert Systems Enabled for WEB Using Inference Based Hyperlink
Expert Systems Enabled for WEB Using  Inference Based  HyperlinkExpert Systems Enabled for WEB Using  Inference Based  Hyperlink
Expert Systems Enabled for WEB Using Inference Based Hyperlink
 
Legacy Telecommunications of 2014 FIFA World Cup in Brazil
Legacy Telecommunications of 2014 FIFA World Cup in Brazil Legacy Telecommunications of 2014 FIFA World Cup in Brazil
Legacy Telecommunications of 2014 FIFA World Cup in Brazil
 
Projeto do Legado em Telecomunicações para a Copa do Mundo de 2014 no Brasil
Projeto do Legado em Telecomunicações para a Copa do Mundo de 2014 no Brasil Projeto do Legado em Telecomunicações para a Copa do Mundo de 2014 no Brasil
Projeto do Legado em Telecomunicações para a Copa do Mundo de 2014 no Brasil
 
O protocolo SCTP para o transporte de vídeo codificado escalonável
O protocolo SCTP para o transporte de vídeo codificado escalonávelO protocolo SCTP para o transporte de vídeo codificado escalonável
O protocolo SCTP para o transporte de vídeo codificado escalonável
 
H.264 / MPEG-4 AVC
H.264 / MPEG-4 AVCH.264 / MPEG-4 AVC
H.264 / MPEG-4 AVC
 
Projeto implantação Manutenção Centrada em Confiabilidade (RCM)
Projeto implantação Manutenção Centrada em Confiabilidade (RCM)Projeto implantação Manutenção Centrada em Confiabilidade (RCM)
Projeto implantação Manutenção Centrada em Confiabilidade (RCM)
 
Thesis MBA Mobile Project
Thesis MBA Mobile ProjectThesis MBA Mobile Project
Thesis MBA Mobile Project
 
Professional Brief
Professional BriefProfessional Brief
Professional Brief
 
Projeto de Automação de Sistemas Traqueados de Microondas
Projeto de Automação de Sistemas Traqueados de MicroondasProjeto de Automação de Sistemas Traqueados de Microondas
Projeto de Automação de Sistemas Traqueados de Microondas
 
Projeto do Sistema Cacti – Software Gerenciamento de Rede
Projeto do Sistema Cacti – Software Gerenciamento de RedeProjeto do Sistema Cacti – Software Gerenciamento de Rede
Projeto do Sistema Cacti – Software Gerenciamento de Rede
 
Projetos dos Sistemas de Controle de Fluxos e KIT IP
Projetos dos Sistemas de Controle de Fluxos e KIT IPProjetos dos Sistemas de Controle de Fluxos e KIT IP
Projetos dos Sistemas de Controle de Fluxos e KIT IP
 
Projeto PIO Estadual
Projeto PIO EstadualProjeto PIO Estadual
Projeto PIO Estadual
 
Projeto Vídeo IP
Projeto Vídeo IP Projeto Vídeo IP
Projeto Vídeo IP
 
Projeto Copa do Mundo 2014 Curitiba - Transportes v3
Projeto Copa do Mundo 2014 Curitiba - Transportes v3Projeto Copa do Mundo 2014 Curitiba - Transportes v3
Projeto Copa do Mundo 2014 Curitiba - Transportes v3
 

Melhor métrica para QoE causada por falhas de rede IP

  • 1. “PESQUISA DA MELHOR MÉTRICA PARA O QoE, POR FALHAS CAUSADAS ​​ POR REDES IP”
  • 2. O ecossistema do vídeo IP • A percepção do usuário relativo à qualidade é influenciada por vários elementos associados com a entrega do serviço ponto a ponto:  A rede de dados,  Os equipamentos,  A codificação de dados,  Os protocolos e terminais, • Garantir os serviços de alta qualidade, desde a baixa exigência para a banda larga em tempo real, independente da rede de acesso é o grande desafio para as operadoras. • Serviços de transmissão de vídeo exigem recursos substanciais e a relação entre o domínio físico dos parâmetros da rede e de percepção do usuário não são lineares (máxima qualidade com o mínimo de recursos).
  • 3. Parâmetros de desempenho • O serviço de IPTV é altamente sensível à perda de pacotes • O impacto dessa perda de pacotes depende de vários fatores:  Algoritmo de compressão (MPEG2, H.264)  Estrutura do GOP  Tipo de informação perdida (I, P, B frame)  Desempenho do codec (codificação, decodificação)  Complexidade do conteúdo do vídeo  Cancelamento de erro no set-box
  • 4. O que é necessário? • Abordagens de monitoramento da rede no cenário atual são inadequadas.  A perda de pacotes, jitter, atrasos, largara de banda, etc.  Operadoras medem apenas os parâmetros da rede (garantia de serviço).  Qualidade de Serviço (QoS).  Não é tão simples como a perda de bits... mas é onde os bits estão localizados em um quadro. • Efeito visual da perda de pacotes pode variar de zero a impactos desastrosos.  Parâmetros mais avançados são necessários.  Necessidade de analisar o conteúdo do vídeo.  O que o espectador percebe ... não a rede.  Qualidade da Experiência (QoE).
  • 5. O que esta sendo medido? Qualidade de Serviço • Atraso • Jitter • Perda de pacotes • Largura de Banda Qualidade da Experiência • Blocking • Blurring • Freezing • Noise • Contouring • Ringing • Smearing • Ghosting
  • 6. Os desafios do vídeo nas redes IP Perfis de trafego de demanda  Fluxos de alta largura de banda  Alto volume de trafego  Ao vivo, VoD Efeitos da Rede  Vídeo tem um impacto forte com pequenos problemas na rede  Equipamentos de diferentes fornecedores tem dificuldade no diagnostico/solução (interoperabilidade) Altas expectativas do usuário final  Definida por décadas de historia.  Aumentou rapidamente com o HD  Baixa tolerância para a qualidade pobre Novas arquiteturas  Processamento de vídeo sensível a dispositivos cria possibilidade de varias fontes de falhas  Middleware Degradação na qualidade de serviços Diagnostico difícil na resolução de problemas
  • 7. Fontes de problemas de vídeo Falhas na qualidade da fonte  Qualidade pobre dos provedores de conteúdo Falhas na Codificação/ Decodificação  Jitter  Problemas específicos no CODEC  Problemas de Compressão  Latência entre vídeo e áudio  Degradação na qualidade da imagem Falhas na Rede  Perda de pacotes, atraso, Jitter, largura de banda  Complexidade da imagem e variações de largura de banda  Impacto de perda de pacotes nos quadros I/P/B  Impacto de falhas na rede nas Imagens espacial e temporal e Impacto na qualidade do vídeo  Variação dos componentes de luminancia e crominancia. Falhas na Decodificação  Problemas de qualidade de áudio e vídeo no set-box
  • 8. O que podemos medir (métricas do QoE) • Usando medições para avaliar o vídeo, é possível isolar problemas de codificação de problemas de transporte:  Efeitos de “tilling” são normalmente causados ​​por taxa de bits insuficientes para os requerimentos dos detalhes da imagem, mais do que qualquer defeito no fluxo TS – “transport stream” (erros de PCR, perda de pacotes, etc).  Artefatos de “blockiness” são tipicamente devido à perda de dados – perda de pacotes, jitter, ou problemas no formato do TS. Fonte: Tektronix
  • 9. Monitoração do QoE (pontuação do vídeo) • Pontuação de centenas de fluxos de vídeo, com base em experiências de clientes (QoE), em tempo real, de forma contínua e simultânea. Tela de captura de um clip de video com baixa pontuação do VQE Fonte: Tektronix
  • 10. QoS vs. QoE • Qualidade de Serviço (QoS) refere-se à capacidade de uma rede para fornecer um melhor serviço para o tráfego de rede selecionado sobre várias tecnologias. QoS é uma medida de desempenho no nível do pacote a partir da perspectiva de rede. • Qualidade da Experiência (QoE) descreve o desempenho de um dispositivo, sistema, serviço ou aplicação (ou qualquer combinação dos mesmos) do ponto de vista do usuário. QoE é uma medida de desempenho ponto a ponto no nível de serviço a partir da perspectiva do usuário.
  • 11. QoS vs. QoE • Qualidade de Serviço  Centrado na Rede  Atraso, perda de pacote, jitter  Qualidade de transmissão  Conteúdo agnóstico • Qualidade da experiência  Falhas de conteúdo  Blocking, Blurring, etc.  Qualidade no usuário final  Aplicativos dirigidos QoS QoE
  • 12. QoS vs. QoE Mesma Falha na Rede Perda de Pacote: 1% Atraso: 10ms Jitter: 50us Largura de Banda: 500kbps Diferença percebida na qualidade.
  • 13. PSNR vs. QoE Mesmo valor de distorção (PSNR) – diferença na qualidade percebida Compreensão do sistema de visão humana
  • 14. QoE vs. MOS • Mapeamento entre o valor da “Avaliação de Qualidade da Experiência” e o MOS (Mean Opinion Score - ITU / T P.800) QoE MOS QMAX 5 4 3 2 1
  • 15. MDI vs. QoE • Índice de entrega de mídia (MDI) • O MDI consiste de duas métricas:  Fator de atraso (DF)  Taxa de perda de midia (MLR) • Limitações do MDI:  O MDI considera um trafego com taxa de bit constante (CBR)  O MDI não considera o “payload” do vídeo ou o conteúdo  Os Valores do MDI não são intuitivos  O MDI não se correlaciona com a qualidade de vídeo
  • 16. MDI vs. QoE 0 1 2 3 4 5 V-FACTOR 0 500 1000 1500 2000 2500 3000 MediaLoss Jitter 1 to 50ms Packet Drop 1 in 500 periodic Packet Drop 1 in 500 poisson Packet Drop 1 in 500 uniform Packet Drop 1 in 500 and Jitter Duplicate Packets 1 in 10 Duplicate Packets 1 in 500 Reordering Packets 1 in 500 PerdadeMídiaMOS Fonte:Cisco
  • 17. Impacto do atraso no Q0S G.114_F010 100 200 300 400 500 50 60 70 80 90 100 Nearly all users dissatisfied Many users dissatisfied Some users dissatisfied Users satisfied Users very satisfied Mouth-to-ear-delay/ms E-modelratingR Fonte: ITU
  • 18. Impacto da perda pacotes no usuário final G.729A Packet Loss Performance 50 60 70 80 90 100 0 100 200 300 400 500 One-way Delay (ms) R G.711 @ PL = 0% G.729A @ PL = 0% G.729A @ PL = 1% G.729A @ PL = 2% G.729A @ PL = 3% G.729A @ PL = 4% Exceptional limiting case Very satisfactory Satisfactory Some users dissatisfied Many users dissatisfied User Satisfaction PL = Packet Loss G.729A G.711 Reference Fonte: ITU-T PESQ P.862 standard
  • 19. Ciclo do QoS/QoE • ITU-T Rec. G.1000 e COM12–C185–E QoE Desejada QoE Percebida QoS Direcionada QoS Entregue Usuário Final Provedor serviço Diferença de percepção Diferença valor Diferença de execução Diferença de cooperação
  • 20. Abordagem de referencia completa • Comparação de quadros de vídeo individuais • Analise offline (captação é requerida) • Alto detalhe e precisão • Procedimento de alinhamento Sistema Transmissão/ Compressão Emissor Receptor Informação referencia completa Vídeo Vídeo Medida de Qualidade FR
  • 21. Abordagem sem referencia • Não intrusiva, medida em operação • Aplicações de monitoramento em tempo real • Nenhum alinhamento é necessário Sistema Transmissão/ Compressão Emissor Receptor Vídeo Vídeo Medida de Qualidade NR
  • 22. O VQM ( Video Quality Metric) • Sem referência • Avalia a qualidade do vídeo como percebida pelo usuário  QoS → QoE • Baseado em MPEG2 • Análise superficial  Não analisa os vetores de movimento, coeficientes DCT, e outras informações de degradação especificas dos macroblocos devido a perda de pacotes, sendo a falha estimada utilizando apenas informações de alto nível contidas no grupo de imagens, quadros e cabeçalhos dos “slices”. • Não precisa fazer suposições sobre como o decodificador lida com as informações corrompidas  ou seja, que tipo de estratégia de cancelamento de erro ele utiliza
  • 23. O VQM ( Video Quality Metric) • Com base nestas informações ele determina exatamente quais “slices” estão perdidos;  Taxa de perdas do GoP  Taxa de perda de quadros  Taxa de perda do “slice”  A diferenciação por tipo de quadro (I, P, B) • Ele calcula como o erro de perdas dos “slices” se propaga de forma espacial e temporal • Apropriado para medir a qualidade de vídeo em um modelo em tempo real dentro de uma rede.
  • 24. O VQM ( Video Quality Metric) Medida de Qualidade 00 11 00 10 11 01 01 10 10 11 10 10 10 10 00 01 01 01 MPEG-2videobitstream DECODER Fluxo de vídeo decodificado HEADERS
  • 25. Métricas de Rede e Conteúdo Falhas da Rede • Perda de Pacotes • Atraso • Jitter • Largura de Banda Fluxo de Vídeo Rede de Dados Falhas de Conteúdo • Blockiness, blur • Jerkiness • Freeze • Noise Dados Vídeo L1, L2 (Ethernet MPLSCamada 3 (IP, UDP)Camada 4 (MPEG-2) Conteúdo Áudio/Vídeo Modelo do sistema de visão humana (dispositivo correlação) Relatório de Qualidade de Vídeo
  • 26. QoE ponto a ponto Completa analise de conteúdo (pixel a pixel) Fonte de conteúdo e validação encoder / transcoder Modelo do sistema de visão humana Relatório de Qualidade do Vídeo Falhas de conteúdo: • Blockiness, blur • Jerkiness • Freeze • Noise, Color Falhas da rede: • Perda de pacotes • Atraso • Jitter • Largura de banda Analise do fluxo de conteúdo: • Inspeção PES (Packetize elementary stream) • PCR (Program Clock Reference) jitter. Completa analise de conteúdo (fluxo de bits) Detecta falhas de conteúdo Completa inspeção para conteúdos associados a dados codificados (exp: TS1 = I-Frame) Analise da rede (header ou stream) Detecta problemas no QoS Analise de conteúdo onde é possível (sem criptografia) Inspeção do QoS para dados codificados associados para falhas(exp: TS1 = Perda de Pacotes) Q-Advisor Dispositivo Correlação TS1 = I-Frame TS1 = Perda de Pacotes Perda de Pacotes-> I-Frame Fonte: Tektronix
  • 27. Exemplo de um experimental “testbed” Servidor de Vídeo Controlled-Loss Roteador Video decodificado no cliente + Medidor de qualidade • Caracteristicas do vídeo:  MPEG2-TS  Taxa de bit constante: 3.9Mbps Perda de Pacotes
  • 28. Exemplo: Modelagem de auto-congestionamento para programação de pacotes • Taxa de distorção otimizada de programação de pacotes normalmente pressupõe uma função densidade de probabilidade (pdf) para atrasos independentes em transmissões de pacotes sucessivos (Chou, M., 2001). • Um modelo de atraso da “pdf” por exponencial com variação de deslocamento. Distribuição deprobabilidade atrasos
  • 32. As métricas de qualidade do QoE • Os tipos de avaliação de qualidade da imagem:  Avaliação subjetiva da qualidade  Avaliação objetiva da qualidade • Desenvolvimento de métodos de ensaio subjetivos e modelos objetivos  Percepção multimodal de vídeo  Dependência de conteúdo  Projeto de métricas quantificáveis ​​para a qualidade percebida (vídeo)
  • 33. Objetivo da pesquisa • Avaliar o QoE pela normalização de um dos parâmetros do QoS vinculado a perda de pacotes que ocorrem nas transmissões de vídeo sobre redes IP, com o objetivo de avaliar a qualidade da imagem e fornecer as melhores métricas de qualidade que possam predizer a qualidade de imagem percebida automaticamente. • A partir da métricas pesquisadas será possível uma melhor compreensão da percepção do usuário em relação às distorções espaciais e temporais do streaming” de dados de vídeo através de redes IP e, como esse padrão de perda geral contribui para a degradação da sua qualidade.
  • 34. Objetivos da pesquisa • Este trabalho tem como objetivo investigar as possíveis correlações entre o QoE percebido pelo usuário e as características de tráfego a nível de rede procurando a melhor métrica para a avaliação do QoE:  Analisar, de um lado as relações quantitativas entre o QoE e, os parâmetros do QoS, tais como a taxa de perdas de pacotes, o tempo de download e a taxa de transferência obtidas a partir de experimentos através da perspectiva do usuário final,  Investigar as correlações entre as características do tráfego (volumes de sessão) e os critérios de desempenho, tais como taxas de perda de pacotes, taxa de transferência, medidas em uma rede operacional,  A comparação qualitativa do QoE e volumes de sessão através da taxa de transferência e taxa de perdas de pacote indica um crescimento nos volumes de sessão, com a melhoria do QoE, • Tal estimativa da melhor métrica do QoE pode ajudar os ISP a monitorar continuamente o nível de satisfação do usuário, reagir em tempo útil e de forma adequada para corrigir os problemas de desempenho e, portanto fornecer os serviços de acordo com as expectativas do usuário.
  • 35. O impacto do desempenho da rede no QoE • O objetivo na analise é correlacionar a qualidade no nível da rede de Serviço ( QoS ) para a Qualidade da Experiência (QoE ) percebida pelos usuários.  O trabalho procura associar, por um lado às correlações entre várias características de tráfego medido em uma rede IP e do outro lado a experiência do usuário testado nessa rede,  Pesquisar a melhor métrica para o QoE, por falhas causadas por redes IP, observando algumas tendências pronunciadas sobre as relações entre os dois tipos de resultados,  Validar como e em que medida o volume de sessões de usuários representam o nível de satisfação do usuário,  Verificar as relações clássicas entre alguns dos indicadores de desempenho de rede, tais como perda de pacotes, o tempo de download e a taxa de transferência, a fim de fortalecer o entendimento desse impacto sobre o QoE.
  • 36. O impacto do desempenho da rede no QoE • Esse trabalho procura associar, por um lado às correlações entre as várias características de tráfego medido em uma rede IP e do outro lado a experiência do usuário testado nessa rede relativo ao:  Comportamento dos usuários caracterizados através de várias métricas de trafego que mostrem uma forte correlação com o desempenho a nível de rede , mesmo que a reação dos protocolos possam também ter um impacto.  Novos métodos que estão sendo propostos para deduzir automaticamente medições passivas para uma rede IP a percepção do usuário.  Os limiares sobre os níveis de QoS que possam ser deduzidas a partir destas medições, e a partir do ponto em que algumas características do tráfego comecem a mudar, até ao ponto em que não existe qualquer conexão bem sucedida.  A utilização de um método abrangente clássico, baseado em experiências com um banco de ensaio e o método passivo automático de analisar as correlações entre algumas características de tráfego e alguns critérios de desempenho.
  • 37. O impacto da utilização do serviço em relação ao desempenho da rede no QoE • A pesquisa da melhor métrica (em volume) de um serviço, como uma função da qualidade percebida e como ela se relaciona com a classificação subjetiva pelos usuários tem como finalidade:  Uma análise abrangente sobre o comportamento do usuário nos diferentes níveis de desempenho do serviço através de ambas às medidas objetivas e subjetivas,  A avaliação da correlação de classificação subjetiva do serviço pelos usuários, com um conjunto de parâmetros de desempenho de serviço (relações entre esses parâmetros chaves serão analisados e comparados),  Uma visão quantitativa sistemática sobre os efeitos de perdas na rede em ambos os parâmetros objetivos e subjetivos,  Uma analise dos valores limites significativos de desempenho do serviço em concordância com a percepção do usuário (banco de ensaio),  A correlação de características de tráfego de grupos de usuários com diversas métricas de desempenho de rede (baseada no tráfego operacional gerado por usuários reais em uma rede IP).
  • 38. Macro mudanças na tecnologia de vídeo da Internet (redes IP) • Entrega de conteúdo a custos baixos fazem com que os serviços baseados em assinatura tendam a subir:  Tráfego de vídeo na Internet deverá aumentar, possivelmente superando a audiência baseada na televisão sedimentando a TV do futuro (OTT) • Muitas empresas: provedores de conteúdo, redes de entrega de conteúdo (CDN), programadores de reprodutores de vídeo e os usuários. Vídeo (100x crescimento de tráfego) Outras Aplicações(10 x crescimento de tráfego) O que significa para a Internet se 95% do trafego for vídeo?
  • 39. Plataforma de vídeo na Internet (redes IP) Fonte de Vídeo Encoders & Servidores Vídeo CMS and Hosting Rede de entrega de conteúdo (CDN) ISP & Home Net Tela Reprodutor de Vídeo Componentes chave: Reprodutor de vídeo & CDN
  • 40. Novas noções de qualidade para o vídeo em redes IP • Avaliação da qualidade: vídeo em redes IP usando HTTP sobre CDN.  Em grande parte confiável, por isso a "perda" (PSNR) não é tão relevante.  Novo cenário: buffering, bitrate, taxa de quadros, comutação da taxa de bits e o atraso de inicialização. • Avaliação da experiência: através de anúncios, assinaturas e opiniões com estudo controlado objetivando o comprometimento com as empresas.  Novo cenário: fração do vídeo reproduzido e o número de visitas ao provedor.
  • 41. Métricas do QoE são insuficientes • Reprodutores de vídeo adaptativos fazem compensações em redes ad hoc para o bitrate , atraso de inicialização e armazenamento em buffer. • Estruturas de otimização para múltiplos CDNs usam métricas primitivas de QoE que somente capturam o buffering, a comutação e não o bitrate. • Os provedores de conteúdo não tem nenhuma maneira sistemática para avaliar vantagens e desvantagens em termos de custos e de desempenho de diferentes CDNs. Tela Reprodutor de vídeo 500Kbps 1Mbps 2Mbps
  • 42. Medição robusta do QoE • Necessidade de uma compreensão uniforme.  Conjunto de métricas da qualidade agrupadas afetam o impacto da avaliação, sendo preferível do que cada uma isoladamente. • Necessidade de uma compreensão quantitativa.  Existem vantagens e desvantagens para cada métrica, por exemplo, bitrates mais baixos significam um menor buffer, mas reduz a qualidade de conhecimento quantitativo.  Mudança da métrica M de x para y muda o compromisso do cliente de a para b. ISP & Rede de Casa Reprodutor de vídeo Inicio da perspectiva do usuário?
  • 43. Fatores chaves para a avaliação da qualidade de vídeo IP pelo QoE • Relações entre as métricas e a experiência do usuário são complexas, até mesmo contra intuitivo.  Por exemplo, quanto maior o bitrate nem sempre teremos a mais alta qualidade. • Métricas interdependentes e compensações  Por exemplo, a mudança de qualidade reduz o buffering, mas pode incomodar os usuários. • Natureza dos conteúdos podem confundir fatores.  Por exemplo, vídeo ao vivo (live) e sobre demanda (on demand) têm diferentes padrões de visualização.
  • 44. Finalidades • Identificar métricas quantitativas do QoE que sejam robustas e unificadas. • Lançar métricas do QoE como um problema de aprendizagem de máquina.  Criar modelos apropriados para prever o engajamento (por exemplo, tempo de reprodução) em função de métricas de qualidade. • Efeitos induzidos por conteúdo abordado usando medidas específicas de domínio. 1% aumento no buffering reduz o engajamento de 3 minutos Fonte Conviva
  • 45. Uso de casos do QoE para vídeo sobre IP • Netflix avalia objetivamente o CDN.  Também otimiza por multi-CDN. • CDN distribui de forma eficiente os recursos para os usuários. • Reprodutores de vídeo fazem compensações (taxa de bits versus buffer). • Usuários fazem escolhas além do conteúdo. • Conjunto de métricas de qualidade. • Necessita de dados em estrutura real e não estudos em ambientes controlados.
  • 46. Complexo relacionamento (métricas vs QoE) • Efeitos contra intuitivo. • Qualidade superior do vídeo deveria ter maior envolvimento do usuário. • Por outro lado a baixa qualidade do vídeo levou a tempos maiores de reprodução (para o vídeo live, a baixa qualidade significa baixo uso da CPU. Para vídeos com alta qualidade a sessão foi encerrada. • Efeitos não-monótonos.  Maior bitrate médio nem sempre tem qualidade superior.  Valores de bitrate em passos discretos. Quando a media entre os passos significar uma comutação pode irritar o usuário. • Efeitos no limiar • Taxas acima de 0,5 comutações/minuto nenhum efeito no envolvimento do usuário final. Taxas mais elevadas o usuário final encerra a sessão mais cedo.
  • 47. Interação entre métricas do QoE • Comutação e Buffering  Deve comutar de forma proativa para evitar o buffer (acima do limiar ocorre perda no engajamento). • Tempo de se conectar.  Taxa de bits mais alta implica em uma maior qualidade, mas também significa que leva mais tempo para iniciar (preenchimento do buffer).
  • 48. Um modelo preditivo para a inferência QoE • Engajamento = f({Métrica Qualidade})  Engajamento: por exemplo, tempo de reprodução, visitas ao site.  Métrica Qualidade: por exemplo, buffering, bitrate. • Dependências e relações ocultas tratadas através da aprendizagem de máquina.  Desde que não sejam suficientemente grandes o conjunto de dados (felizmente, os provedores de conteúdo agrupam - por exemplo o Netflix). • Efeitos de combinação abordados por conhecimentos específicos de domínio.  Selecionar os dados de entrada e alimentar a introdução.  Identificar as características de combinação e deixar o algoritmo manipular.
  • 49. Um modelo preditivo para a inferência QoE
  • 50. Qual é a qualidade de vídeo em redes IP vinculada ao QoE no cenário atual? • O que é a mais alta qualidade de vídeo?  Evitar falhas de inicialização,  Iniciar o vídeo rapidamente,  Reproduzir o vídeo sem problemas e sem interrupções,  Reproduzir o vídeo na taxa de bits mais alta possível. • Coletar as estatísticas do reprodutor de vídeo é a melhor maneira de medir a qualidade de vídeo sobre IP  O reprodutor de vídeo interage com vários serviços pertencentes a várias empresas sendo o ponto único que esta em todas as interações,  Com taxas de bits adaptáveis e tecnologias com múltiplos CDNs, um único servidor ou CDN não tem as informações completas de qualidade para um cliente,
  • 51. Monitoramento do reprodutor de vídeo: modelo do reprodutor ReproduzindoJuntando Estados Reprodutor Reprod. Tempo Estados do Reprodutor Eventos Monitoramento do reprodutor Ação do usuário Buffer de vídeo vazio Parada Saída Buffer de vídeo preenchido Taxa de download vídeo Largura de banda disponível Perda de quadros Taxa de renderização do quadro Rede: Streaming Conexão Estabilização Buffer torna a encher suficientemente BufferingRatio(BR) RateOfBuffering(RB) AvgBitrate(AB) RenderingQuality(RQ) JoinTime (JT)
  • 52. Exemplo de um resumo de qualidade no provedor • 31,68% de visualizações tiveram problemas de qualidade. • 32,2% dos usuários tiveram problemas recorrentes de qualidade. • Boa qualidade de vídeo para todos o usuário pode adicionar 10,9% mais de minutos de vídeo visualizados. 68.3 25.3 5.7 0.68 Total de Visualizações !! "#$%&!' ( ) %*+! X video buffered 67.8 32.2 100.9 62.2 0 50 100 150 Minutos por Usuário Poor Quality Viewers Good Quality Viewers Total Visualizações = 66,44,79,19 Total Usuários = 3.291.204 Total Minutos Visualizados = 290.260.395 video não iniciou video tem baixa resolução video tem boa qualidade Visualização qualidade ruim Visualização qualidade boa Fonte Conviva
  • 53. Bibliografia 1. Arlos P (2005) On the quality of computer network measurements.Ph.D. Thesis, Blekinge Institute of Technology, Karlskrona, Sweden. 2. Collange D, Costeux JL (2007) Correlation of packet losses with some traffic characteristics. Proceedings of the Passive and Active Measurements Conference (PAM 2007), Louvaine-la-Neuve, Belgium. 3. Collange D, Costeux JL (2008) Passive estimation of quality of experience. J. Univers Comput Sci 625–641. 4. Fasterfox-performance and network tweaks for Firefox. http://fasterfox.mozdev. org/ (last seen: July 21, 2009). 5. Fiedler M, Chevul S, Isaksson L, Lindberg P, Karlsson J (2005) Generic communication requirements of ITS-Related Mobile Services as Basis for Seamless communication. Proceedings of the 1st EuroNGI conference on Next Generation Internet Networks (NGI’05), Rome, Italy, pp. 426–433.005). 6. Fiedler M, Chevul S, Radtke O, Tutschku K, Binzenhöfer A (2005) The network utility function: a practicable concept for assessing network impact on distributed servi ces. Proceedings of the 19th International Teletraffic Congress (ITC-19), Beijing, China. 7. Garcia J, Hurtig P, Brunström A (2008) The effect of packet loss on the response time of web services. Proceedings of 3rd International Conference on Web Information Systems and Technology (WebIST2007).
  • 54. Bibliografia 8. HoBfeld T, Tran-Gia P, Fiedler M (2007) Quantification of Quality of Experience for edge-based applications. Proceedings of the 20th International Teletraffic Congress (ITC-20), Ottawa, Canada. 9. International Telecommunication Union (2001). ITU-T Recommendation G. 1010: end-user multimedia QoS categories. 10. International Telecommunication Union (2005). ITU-T Recommendation G. 1030: estimating end-to-end performance in IP networks for data applications. 11. International Telecommunication Union (2003). ITU-T Recommendation P.800.1: mean Opinion Score (MOS) terminology. 12. Khirman S, Henriksen P (2002) Relationship between Quality-of-Service and Quality-of-Experience for Public Internet Service. Proceedings of Passive and Active Measurement (PAM2002), Fort Collins, Colorado, USA. 13. Nychis G, Sardesai G, Seshan S (2009) Analysis of XCP in a wireless environment http://www.contrib.andrew.cmu.edu/~gnychis/xcp_wireless.pdf (last seen: July 21). 14. Padhye J, Firoiu V, Towsley D, Kurose J (1998) Modelling TCP throughput: a simple model and its empirical validation. ACM Sigcomm, Vancouver Canada, pp. 303–314. 15. Rossi D, Mellia M, Casetti C 2003() User patience and the web. Proceedings of IEEE GLOBECOM, San Francisco, USA.
  • 55. Bibliografia 16. Vicari N, Köhler S (2000) Measuring internet user traffic behavior dependent on ac cess speed. 13th ITC Specialist Seminar on IP Traffic Measurement, Modeling and Management, Monterey, CA, USA. 17. Ganjam A (2010) Bringing Internet Video to Prime Time. Paper Conviva, USA.
  • 56. Banco de dados vídeo 1. The Consumer Digital Video Library http://www.cdvl.org/index.php