Slides teoriadainformacao

Teoria da Informação
Codificação de Fonte

Prof. Dr. Luciano Leonel Mendes
lucianol@inatel.br
Teoria da Informação 1/62 Prof. Dr. Luciano Leonel Mendes
Pós-graduação – Redes e Sistemas de Telecomunicações

Conteúdo e Referência

1. Revisão: Probabilidade e Variáveis Aleatórias

2. Fontes de informação – amostragem e quantização

3. Princípios da Teoria da Informação

4. Compactação de Fonte

5. Limitantes para Canais AWGN

Livro Texto: Haykin, Simon, “Sistemas de Comunicação”, 4° Edição,
John Wilwy & Sons, 2001.


Revisão de Probabilidade
1. Noções Básicas de Probabilidade

• Diagrama de Venn: permite realizar uma representação gráfica dos
conjuntos e/ou sua probabilidade de ocorrência.

s

A AB B


2. Os Axiomas da Probabilidade

• Para qualquer evento A, P[A]=0.
• P[S]=1, onde S é o espaço amostral.
• P[AUB]=P[A]+P[B]-P[AB].

Exemplo: Seja o espaço amostral S={0, 1, 2, 3}. Então:
P[S]=P[0]+P[1]+P[2]+P[3]=1. Logo
P[ S ] = ∑i =0 P[ si ] = 1
3

“A probabilidade é sempre um número entre 0 e 1”


Continuando...

Seja um evento B={números pares}. Logo B = ? Qual é P[B]?
P[B]=P[0]+P[2]

Seja um evento C={números menores que 2}. Logo C=? Qual é P[C]?
P[C]=P[0]+P[1]

Seja D=BUC. Logo D=? Qual é P[D]?
P[D]=P[BUC]=P[B]+P[C]-P[BC]=P[0]+P[2]+P[0]+P[1]-P[0]
P[D]=P[0]+P[1]+P[2]


3. Eventos Mutualmente Exclusivos: são aqueles que nunca acontecem
ao mesmo tempo.
Exemplo: A={números pares} e B={números ímpares}.
Se A e B são mutualmente exclusivos, então P[AB]=0.

4. Probabilidade de eventos conjuntos: considere o diagrama de Venn.

B1 B2 B3 B4 Qual é a P[A]?
P[A]=P[AB1]+P[AB2]+P[AB3]+P[AB4]
4
P[ A] = ∑ P[ A ⋅ Bi ]
A i =1

Note que Bi e Bj são mutualmente
exclusivos!

5. Eventos Independentes: dois eventos são independentes somente se a
probabilidade de ocorrência de um evento não alterar a probabilidade de
ocorrência do outro evento.

P[AB]=P[A]xP[B] somente se A e B forem independentes.

6. Probabilidade Condicional: é a probabilidade de ocorrência de um
evento, sabendo-se que outro evento já aconteceu.
Exemplo: Qual é a probabilidade de um pneu novo estourar?
Qual é a probabilidade de um pneu novo estourar,
dado que existem pregos na pista?
P[ A ⋅ B ]
P[ A / B ] =
P[ B ]
Qual é P[A/B], quando A e B são independentes?

Exercício: considere um dado honesto e os seguintes eventos:
Ei={número sorteado é i}
Mj={número sorteado é maior do que j}
P={número sorteado é par}

a) Qual é a probabilidade de ter-se sorteado um 3, dado que o número
sorteado é maior do que 1, ou seja, P[E3/M1]=?
b) Qual é a probabilidade condicional de se obter um 6 dado que o
número sorteado é maior do que 3?
c) P[M3/P]=?
d) Dado que o número sorteado é maior do que 3, qual é a
probabilidade dele ser par?
e) P[E1E2], P[M6P], P[M3UP], P[M3P]


7. Variáveis aleatórias: são variáveis cujo valor em um dado instante de
tempo não pode ser determinado. No entanto é possível determinar a
probabilidade do valor desta variável estar dentro de uma faixa de
valores.
Parâmetros de uma V. A.
a) Função densidade de probabilidade (f.d.p.) - fX(x): mostra como os
valores que a variável pode assumir estão distribuídos.
b) Função distribuição cumulativa (F.D.C.) - FX(x): mostra a
probabilidade de uma variável assumir um valor maior do que x. 1.1
0.99
0.88
0.77
x 0.66

FX ( x) = P[ X ≤ x] = ∫f
−∞
X ( y )dy Função densidade de probabilidade 0.55
Função distribuição cumulativa
0.44
0.33
0.22
0.11

3 2.4 1.8 1.2 0.6 0 0.6 1.2 1.8 2.4 3
x


Continuando...

c) Média: é o valor médio da variável aleatória, também conhecido
como valor esperado. Eqüivale ao nível DC, se a variável aleatória for
um sinal elétrico.
∞ +∞
E[ X ] = ∑ x ⋅ P[ X = x ]
i = −∞
i i E[ X ] = ∫ x⋅ f X ( x)dx
−∞

d) Desvio padrão: é uma medida de quanto a variável aleatória pode se
distanciar da média. Pode ser interpretado como sendo a tensão RMS, se
a V.A for um sinal elétrico.


Continuando...

e) Variância: é o quadrado do desvio padrão. Pode ser associado à
potência AC do sinal.
σ 2 = E[ X 2 ] − E[ X ] 2
∞ ∞
E[ X 2 ] = ∑ xi ⋅ P[ X = xi ] E[ X 2 ] = ∫ x 2 ⋅ f X ( x)dx
2

i = −∞ −∞


8. Alguns tipos de variáveis aleatórias.

a) Distribuição uniforme
1
X ∈ {x0 , x1 , x2 ,..., x N −1} f X ( x) = a≤ X ≤b
1
f X ( x) = b−a
N
0.2
0.2
0.18
0.15 0.16
0.14

f (x)
0.12
f (x)

X
0.1
X

0.1
0.08
0.05 0.06
0.04
0.02
0
1 2 3 4 5 6 0
X 0 1 2 3 4 5 6 7
X
Calcule a média e a variância das duas F.D.P’s.

Continuando...
b) Gaussiana
1  ( x − µ )2  µ = E[ X ]
f X ( x) = exp  
 2σ 
2
2πσ 2
σ 2 = E[ X 2 ] − µ 2
0.4

0.35

0.3

0.25
f (x)
X

0.2

0.15

0.1

0.05

0
-3 -2 -1 0 1 2 3
X

Fontes de Informação
• As fontes de informação em um sistema de comunicação digital são os
dispositivos que geram os dados que devem ser transmitidos.

• Toda fonte de informação de um sistema de comunicação digital deve
ter um número discreto de símbolos.

• Algumas fontes são discretas por natureza.

• Outras possuem um número infinito de símbolos. Essas fontes devem
ser discretizadas.

• Tipos de fontes: binárias, m-árias e analógicas.


• Fontes binárias: são aquelas que somente geram dois tipos de
símbolos. Exemplo: computador.

• Os dados emitidos por esta fonte não precisam sofrer maiores
processamentos para serem transmitidos por um sistema de
comunicação digital.

Bits
mk s(t) r(t) ^
mk
Fonte Digital Transmissor Canal Receptor
Destino
Binária Digital Ruidoso Digital


• Fontes discretas ou fontes m-árias; são aquelas que podem emitir até
M símbolos diferentes. Exemplo: texto.

• Os símbolos emitidos por esta fonte devem ser codificados em bits.

• A quantidade de bits necessária para codificar uma fonte com M
símbolos é:
m = dlog2 (M )e

• Exemplo: qual é a quantidade de bits necessária para representar o
nosso alfabeto?


• O dispositivo responsável em atribuir os bits aos símbolos da fonte é
conhecido como codificador.

Símbolos Bits ^
s(t) r(t) ^
mk Ak
Fonte Ak mk Transmissor Canal Receptor De-
Codificador Destino
Discreta Digital Ruidoso Digital codificador

• Exemplo: assuma que a fonte de informação seja um dado. Proponha
uma tabela de codificação para que os símbolos gerados por esta fonte
possam ser transmitidos por um sistema de comunicação digital.


•.Fontes Analógicas: são aquelas que geram sinais com uma quantidade
infinita de amplitudes. Exemplo: câmera de vídeo ou microfone.

• As fontes analógica devem ser digitalizadas para que os dados possam
ser transmitidos em um sistema de comunicação digital.

• Esse procedimento consiste de dois passos:

a) Amostragem: consiste em discretizar o sinal no domínio do tempo.
Esse processo não introduz distorções no sinal.

b) Quantização: consiste em limitar a amplitude das amostras em M
níveis possíveis. Esse processo introduz uma distorção denominada de
ruído de quantização.

• Transmissão de um sinal analógico através de um sistema de
comunicação digital.

Símbolos Bits
Fonte Ak mk Transmissor s(t) Canal
Amostragem Quantizador Codificador
Analógica Digital Ruidoso

r(t)

^ ^
Filtro de Ak De- mk Receptor
Destino
Recuperação codificador Digital


• Amostragem: consiste em pegar o valor da amplitude do sinal a cada
Ts segundos, que é chamado de período de amostragem.

• A freqüência de amostragem é fs=1/Ts.

Amostragem temporal
1.0

t=kTs .5

0

-.5

-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]


• Teorema da Amostragem ou Teorema de Nyquist:

Um sinal limitado em freqÄ^ncia, cuja freqÄ^ncia m¶xima ¶ dada por fmax ,
ue ue a e
pode ser perfeitamente representado por suas amostras, desde que estas sejam
tomadas a uma taxa de amostragem maior ou igual a duas vezes fmax , ou seja,
se
fs ¸ 2 ¢ fmax
ent~o ¶ poss¶ recuperar o sinal original a partir das suas amostras, sem dis-
a e ³vel
tor»~o."
ca


• Para recuperar o sinal original a partir das suas amostras, basta
empregar um filtro passa-baixa.

Sinal Original e Sinal Recuperado
2

t=kTs 1

0

-1

-2
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]


• Outro tipo de amostragem bastante utilizado é a amostragem com
retenção, onde o valor da amostra é mantido até o próximo instante de
amostragem.

Sinal Original e Sinal Amostrado com Retenção
1.0
Retenção
.5
t=kTs
0

-.5

-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]

• A recuperação da informação original é feita da mesma forma que na
amostragem instantânea.

• Quantização: é processo no qual o valor da amplitude das amostras é
discretizado.

• Um quantizador permite apenas NQ níveis de amplitude em sua saída.

• O número de bits necessários para representar cada uma das amostras
é q = log2(NQ), ou seja, o número total de níveis possíveis com q bits é
NQ = 2q.
Sinal Contínuo e Sinal Quantizado
1.0
Quantizador

.5

0

-.5

-1.0
0 .5 1 1.5 2 2.5 3 3.5 4
Tempo [s]


• A quantização insere uma distorção que não pode ser mais removida
do sinal.

• Essa distorção pode ser modelada como um ruído de potência:

2 ¢2
¾Q =
12

• A taxa de bits mínima para representar essa fonte analógica é limitada
pelo Teorema de Nyquist e pelo número de amostras na saída do
quantizador.

Rb ¸ 2 log2 (NQ ) ¢ fmax


• Exemplo: qual é a menor taxa para representar um sinal telefônico que
foi quantizado com 256 níveis?


• O que é Teoria da Informação?
Teoria da Informação é o modelo matemático que permite tratar, de
modo analítico, os diferentes modos de transmitir informação em um
canal de comunicação.

• Questões tratadas na Teoria da Informação:
a) Qual é a menor quantidade de bits necessária para representar uma
fonte discreta sem perda de informação?
b) Qual é a máxima taxa de transmissão para uma comunicação
confiável em um canal ruidoso?

Para responder a essas questões, é necessário compreender o que é
Informação, Entropia, Canal e Confiável!

• Informação: é a quantidade de surpresa que um evento causa ao
ocorrer.
Seja S ={s0, s1, s2 , s3 ,..., sK-1} uma fonte discreta com K elementos,
onde pk é a probabilidade de ocorrência de sk.
A quantidade de informação associada ao símbolo sk é dada por
 1 
I (sk ) = log 2  
p 
 k
• Conclusões importantes:
- Se há certeza de ocorrência de um evento, não há ganho de
informação quanto esse evento ocorre!
- A ocorrência de um evento nunca causa perda de informação!
- Quanto menor a probabilidade de ocorrência, maior é a informação
ganha quando o evento acontece!



• Algumas propriedades da informação:

1) I(sk) = 0 quando p(sk) = 1

2) I(sk) > 0 para 0 < p(sk) < 1

3) I(sk) > I(si) para p(sk) < p(si)

4) I(sksi) = I(sk) I(si) se sk e si forem independentes.

Exemplo: calcule a informação associada a cada um dos símbolos

pertencentes S={a, b, c, d}, sendo que p(sk) = {0.5, 0.3, 0.15, 0.05}.

• Entropia: é a quantidade média de informação fornecida por uma fonte
discreta.
K −1 K −1
 1 
H (S ) = ∑ pk I (sk ) = ∑ pk log 2  
p  bits
k =0 k =0  k

• Propriedades da Entropia:
1) 0 = H(S) = log2(K)
A entropia é nula quando a fonte possui um evento certo.
A entropia é máxima quando a fonte é equiprovável.
Exercício: calcule a entropia de uma fonte binária onde o símbolo “0”
possui probabilidade p0 e o símbolo “1” possui probabilidade p1.

• Fonte discreta sem memória: é uma fonte que envia símbolos discretos
a cada T segundos, onde a ocorrência de um símbolo específico não
muda a probabilidade de ocorrência do próximo símbolo.


• Extensão de uma fonte discreta sem memória: consiste em criar uma
nova fonte cujos elementos são combinações da fonte inicial.
• A probabilidade de cada novo elemento será o produto das
probabilidades individuais dos elementos elementares.
Exemplo: Considere uma fonte que representa o resultado de uma
jogada de um dado honesto.
S={1, 2, 3, 4, 5, 6} pk = [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]
Quais serão os elementos da extensão de ordem 2 desta fonte, ou seja,
de uma fonte que consiste em duas jogadas sucessivas de um dado?


• A entropia de uma fonte estendida de ordem n é n vezes maior do que
a entropia da fonte original.
• Exemplo: Seja uma fonte S = {s0, s1, s2} com pk = {¼, ¼, ½}.
a) Qual é a entropia desta fonte?
b) Encontre a fonte estendida de ordem 2. Qual é a entropia desta fonte?


• Codificação de fonte: utilizar a estatística da fonte para minimizar o
número de bits necessários para representar seus eventos. As palavras
códigos devem ser inequívocas.

Exemplo: uma fonte emite os caracteres S={a,b,c,d}. Associe bits a
cada evento dessa fonte de modo intuitivo.

Sabendo que P[a]=0.8, P[b]=0.1, P[c]=0.07 e P[d]=0.03, calcule a
entropia da fonte e compare com o número médio de bits que você
utilizou anteriormente. É possível fazer algo mais eficiente?

A resposta para esta questão é fornecida pelo 1° Teorema de Shannon!


• 1° Teorema de Shannon: Teorema de Codificação de Fonte.

“O número médio de bits necessários para representar
uma fonte discreta é maior ou igual à Entropia desta
fonte.”
K −1 L ≥ H (S )
L = ∑ pk ⋅ l k
H (S )
η=
k =0 L
• É possível construir uma representação binária mais eficiente para
uma fonte discreta utilizando palavras código de comprimento variável.
Exemplo: código Morse.

• Compressão: retira a redundância da fonte, reduzindo a entropia de
maneira controlada. Exemplos: JPEG, MPEG, Vocoders.

• Compactação: retira a redundância da fonte, sem alterar sua entropia.
Exemplo: compactadores de arquivos. Redundância

Entropia

Redundância

Entropia Entropia

Redundância

Compactação Compressão


• Código do Prefixo: compactação de fonte onde a representação binária
de um símbolo nunca é o prefixo da representação binária de outro
símbolo.
• O símbolo mais provável é sempre representado pela menor
quantidade de bits.
Quais destes códigos é um código do prefixo?

• Códigos do prefixo podem ser codificados ou decodificados utilizando
Estado 0 ξ
uma árvore. inicial 0

1 0 ξ1
1 0 ξ2
1
ξ3

• Exemplo: encontre um código do prefixo para representar a seguinte
fonte: S ={s0, s1, s2 , s3}, onde p0=0.7, p1=0.2, p2=0.15 e p3=0.05.

Codifique a seguinte seqüência de dados: s1 s0 s0 s0 s2 s0 s3.

Desenhe a árvore deste código. Calcule a eficiência da codificação.


• Limites para o comprimento médio do código do prefixo:
H(sk) = L = H(sk)+1
• O limite inferior é obtido quando pk = 2-lk.
• Quando o limite inferior é atingido, então o código está casado com a
fonte.
• Pode-se utilizar o conceito de fonte estendida para casar um código do
prefixo com a fonte. Note o que ocorre com os limites do comprimento
médio normalizado de uma fonte estendida:
¹
H(S n ) · Ln < H(S n ) + 1
¹
nH(S) · Ln < nH(S) + 1
¹
Ln 1
H(S) · < H(S) +
n n

• Código de Huffman: é a técnica de codificação empregada nos
compactadores ZIP.
Procedimento para codificação empregando código Huffman:
a) Liste os símbolos em ordem decrescente de probabilidade. Atribua os
bits “1” e “0” aos últimos dois símbolos da lista.
b) Os dois símbolos combinados formam um novo símbolo cuja
probabilidade de ocorrência é a soma das probabilidades anteriores. O
novo símbolo deve ser reposicionado na lista, que contém um símbolo a
menos.
c) Repita o processo até que se tenha apenas dois símbolos. O código
para cada símbolo é obtido pegando-se os “1” e “0” no sentido reverso
que culminou nos últimos dois símbolos.

• Exemplo: Seja uma fonte S={ ?0, ?1, ?2, ?3, ?4}, onde p0=0.15, p1=0.2,
p2=0.4, p3=0.15 e p4=0.1. Encontre o código de Huffman para esta
fonte. Encontre a árvore de decodificação e calcule a eficiência do
código.
ξ2 0,40 0,40 0,40 0,60 0

ξ1 0,20
0,25 0,35 0
0,40
1

ξ0 0,15 0,20 0 0,25 1

ξ3 0,15
0
0,15
1

ξ4 0,10
1


• Continuando...

Estado 1 ξ2
inicial
0 1 1 ξ4
0
0 ξ3
1 ξ0

0
ξ1

• Código Lempel-Ziv: é um código de comprimento fixo que é
adaptativo à fonte discreta.

• Este código utiliza a correlação entre os símbolos enviados pela fonte
para aumentar a sua eficiência.

• Outra vantagem: não requer o conhecimento prévio das estatísticas da
fonte para obter um alto desempenho.

• Para que este código atinja um desempenho adequado é necessário
que uma longa seqüência de símbolos seja codificada.

• O Lempel-ziv utiliza um livro de palavras-código cujo tamanho é
definido pelo comprimento da palavra-código.

• Exemplo: veja página 32 da apostila.

• Exercício: utilize o código de Lempel-ziv com n=3 para codificar uma
fonte discreta S={s0, s1, s2 s3} cujas estatísticas não são conhecidas.
Recupere os símbolos a partir do resultado da codificação.

Seqüência de saída da fonte: s0 s1 s2 s0 s0 s0 s2 s2 s0 s1 s3


• Canais discretos sem memória: é um modelo estatístico do canal de
comunicação com J entradas e K saídas.

• O sinal de entrada é modelado por uma variável aleatória:

X={x0 x1 x2 ... xj-1}

• O sinal de saída, que é uma versão ruidosa do sinal de entrada, é
modelado por uma variável aleatória Y:

Y={y0 y1 y2 ... yk-1}

• Para caracterizar o canal é necessário conhecer as probabilidades de
transição p(yk/xj) para todo k e todo j.

• Caracterização de um canal discreto sem memória através da matriz
de transição:
 p ( y0 / x0 ) p ( y1 / x0 ) L p ( yk −1 / x0 ) 
 p( y / x ) p ( y1 / x1 ) L p ( yk −1 / x1 ) 
P=  0 1 
 M M O M 
 
 p ( y0 / x j −1 ) p ( y1 / x j −1 ) L p ( yk −1 / x j −1 )
 

• Dado que um símbolo foi inserido na entrada do canal, haverá um
símbolo na saída com uma dada probabilidade. Logo:
K −1

∑ p( y
k =0
k / xj) =1


• Utilizando a lei das probabilidades marginais pode-se obter a
probabilidade de um dado símbolo Y aparecer na saída do canal.
J −1
p ( yk ) = ∑ p ( x j , yk )
j =0
J −1
p ( yk ) = ∑ p ( yk / x j ) p( x j )
j =0


• Modelo de canal binário discreto sem memória: é uma maneira
simples e eficiente de modelar o comportamento de um canal de
comunicação binário.
1-p
x0 = 0 y0 = 0

p p

x1 = 1 y1 = 1
1-p

• A matriz de transição deste canal é dada por:

1 − p p 
P= 
 p 1 − p

• Exemplo: um canal binário discreto sem memória apresenta p=0.1.

• Assumindo que uma fonte com p0=0.4 e p1=0.6 seja empregada na
entrada do canal, qual é a entropia do sinal na saída do canal?

• Qual é a probabilidade de erro de bit neste canal?

• Qual será a entropia na entrada e na saída deste canal se a fonte
sempre emitir o símbolo “1”?


• Informação Mútua: determina a quantidade de informação obtida
sobre uma ponta do canal, dado que foi observada a outra ponta do
canal.
I(X :Y) = H (X ) − H (X /Y )
I (Y : X ) = H (Y ) − H (Y / X )

• Entropia condicional: determina a quantidade de incerteza
remanescente sobre uma ponta do canal, dado que a outra ponta foi
observada
K −1 J −1  1 
H ( X / Y ) = ∑∑ p ( x j , yk ) log 2  
 p( x / y ) 
k =0 j =0  j k 

K −1 J −1  1 
H (Y / X ) = ∑∑ p ( x j , yk ) log 2  
 p( y / x ) 
k =0 j =0  k j 


• Propriedades da Informação Mútua:

a) Simetria: I(X:Y) = I(Y:X)

b) Polaridade: I(X:Y) = 0

c) Dependência conjunta: I(X:Y)=H(X)+H(Y)-H(X,Y) H ( X ;Y )

K −1 J −1  1 
H ( X , Y ) = ∑∑ p ( x j , yk ) log 2  
 p( x , y ) 
k =0 j =0  j k 

H (X | Y) I ( X ;Y ) H (Y | X )

H(X ) H (Y )


• Exemplo: Qual é a informação mútua do canal do exemplo anterior,
para ambas distribuições de probabilidade da fonte de entrada?


• Capacidade do canal: é a máxima informação mútua que se pode obter
de um canal de comunicação.
• A informação mútua depende da distribuição da fonte de entrada e da
probabilidade de transição do canal.
• A capacidade do canal somente será atendida se a fonte de entrada
apresentar a distribuição adequada.
• Para um canal binário, a capacidade do canal é atingida apenas quando
1
a fonte de entrada é equiprovável. 0.9

0.8

C = 1 + (1 ¡ p) ¢ log2 (1 ¡ p) + p ¢ log2 (p) 0.7

Capacidade do Canal
0.6

0.5

0.4

• Qual é a Capacidade do Canal quando: 0.3

0.2

p = 0, p = 0.5 e p = 1? 0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Probabilidade de transição


• Qual é a variação da Informação Mútua de um canal binário sem
memória em função da distribuição da fonte de entrada e da
probabilidade de transição?


• Codificação de canal: tem como objetivo inserir bits de redundância
de maneira controlada que permitem detectar e corrigir erros causados
pelo canal.

Fonte discreta Codificador Canal discreto Decodificador
Destino
sem memória de canal sem memória de Canal

Ruído


• Transmissão confiável: é aquela em que a probabilidade de erro de bit
pode ser tão baixa quanto necessário.
• O 2° Teorema de Shannon determina qual é a condição para que tenha
uma transmissão confiável.

“Existe um esquema de codificação de canal que permite que a taxa de
erro de bit seja tão baixa quanto desejada se a seguinte condição for
satisfeita:

H (S ) C
≤
Ts Tc
• Ts é o tempo de emissão dos símbolos pela fonte e TC é o tempo de bit
após a codificação de canal.

• Aplicação do Teorema de Codificação de Canal:
a) Taxa de codificação: é a razão entre o número de bits de informação
pelo número total de bits inseridos pelo codificador de canal:
k k
r= =
n k+p
b) Se a vazão do sistema tiver que se manter constante, então o tempo
de sinalização na saída do codificador terá que ser menor do que o
tempo de sinalização na entrada.
Tc
r=
Ts
c) Portanto a condição para que a probabilidade de erro possa ser tão
baixa quanto necessária pode ser reescrita como

r·C


• Exemplo: Código de Repetição – ver página 50 da apostila.


• Ruído AWGN (Additive White Gaussian Noise): é o ruído térmico
presente em todos os modelos de canais de comunicação. Suas
características são:

a) Média nula.

b) Potência: Pruído=s 2=B.N0, onde N0 é a densidade espectral de
potência do ruído e B é a largura de faixa do sinal transmitido.

SN(f)
c) Distribuição Gaussiana e independente.
N0/2

f


• Teorema da Capacidade do Canal: 3° Teorema de Shannon.

“Um canal de comunicação limitado em B Hertz de
largura de faixa e contaminado por um ruído AWGN
com densidade espectral de potência de N0/2 permite
a comunicação confiável a uma taxa menor ou igual a
 P 
 N B  = B log 2 (1 + SNR )
C = B log 2 1 + 
 0 
P é a potência do sinal. SNR é a relação sinal-ruído.

• Limitante de Shannon
100

Região para a qual Rb>C

10

Fronteira onde
Eficiência de BW (Rb/B) Rb=C

1 Região para a qual
Rb<C

0.1
0 10 20 30

Eb/N0 em dB


• Exemplo 1: qual é a máxima taxa de dados para uma transmissão
confiável em um canal telefônico com relação sinal ruído igual à 15dB?

• Exemplo 2: Qual é a menor largura de faixa possível para se obter
uma taxa de transmissão de 15kb/s em um canal com SNR=10dB?

• Exemplo 3: Qual é a potência necessária para se conseguir 15kb/s em
um canal com 5kHz de banda, sabendo-se que a potência do ruído é
igual a 2mW?


Slides teoriadainformacao

Mais conteúdo relacionado

Mais procurados

Destaque

Semelhante a Slides teoriadainformacao

Mais de Luiz Henrique

Slides teoriadainformacao