Sessão nº2Introdução à Teoria da Informação e              Entropias     CCISEL 99                       Teoria Matemática...
Teoria da Informação• Conceitos básicos   – Medida de quantidade de informação (entropia).   – Capacidade de informação du...
Definição de quantidade de informação• Seja X uma v.a. que toma um conjunto de valores  finitos de acordo com uma distribu...
Definição de entropia conjunta• Define-se entropia conjunta das v.a. X e Y comoH(X,Y) =                      ∑ ∑ p( xi , y...
Entropia condicionada• Sejam as v.a. X e Y;  para qualquer valor fixo y de Y, dada a distribuição  (condicional) de probab...
Análise do sistema One Time Pad de Vernam                                         Dados:       k1                         ...
Próximos SlideShares
Carregando em…5
×

Sessao 2 Introdução à T.I e Entropias

371 visualizações

Publicada em

Teoria da Informação e Introdução ao conceito de Entropia.
Créditos reservados ao Centro de Cálculo e investigação do Instituto Superior de Engenharia de Lisboa.

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
371
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
2
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Sessao 2 Introdução à T.I e Entropias

  1. 1. Sessão nº2Introdução à Teoria da Informação e Entropias CCISEL 99 Teoria Matemática da Comunicação 2-1 Criptografia ComputacionalDefinição de segurança perfeita• Um sistema tem segurança perfeita se, para todo o x ∈ P e para todo o y ∈ C p(x|y) = p(x) – ou seja, não se “ganha” informação acerca do texto em claro por observação do criptograma• Como medir o “ganho” de informação? CCISEL 99 Teoria Matemática da Comunicação 2-2 Criptografia Computacional 1
  2. 2. Teoria da Informação• Conceitos básicos – Medida de quantidade de informação (entropia). – Capacidade de informação dum canal. – Codificação: • codificação de fonte • [cifra] • codificação de canal CCISEL 99 Teoria Matemática da Comunicação 2-3 Criptografia ComputacionalMedida de quantidade de informação (entropia). Incerteza = Informação (antes do acontecimento) (depois da ocorrência)• Seja X uma v.a. que toma um conjunto de valores finitos de acordo com uma distribuição de probabilidades p(X).• Qual é o “ganho” de informação por um acontecimento que pode ocorrer de acordo p(X)?• Se o acontecimento não tivesse ocorrido, qual seria a incerteza acerca da sua ocorrência?Esta quantidade designa-se por entropia de X e representa-se H(X) CCISEL 99 Teoria Matemática da Comunicação 2-4 Criptografia Computacional 2
  3. 3. Definição de quantidade de informação• Seja X uma v.a. que toma um conjunto de valores finitos de acordo com uma distribuição de probabilidades p(X).• Define-se quantidade de informação associada a uma ocorrência (símbolo) xi como I( xi ) = log2 1/p( xi )• propriedades: – I( xi ) = 0 se p( xi ) = 1 – I( xi ) ≥ 0 se 0 ≤ p( xi ) ≤ 1 – I( xi ) > I( xk ) se p( xi ) < p( xk ) – I( xi, xk ) = I( xi ) + I( xk ) se xi e xk são independentes CCISEL 99 Teoria Matemática da Comunicação 2-5 Criptografia ComputacionalDefinição de entropia• Define-se entropia da v.a. X como H(X) = p( xi ) log2 1/p( xi ) ∑ – no limite quando i ∈X xi ) → 0 x p( p( xi ) log2 1/p( xi ) = 0• Entropia é a medida da quantidade de informação necessária, em média, para descrever a v.a. X – 0 ≤ H( X ) ≤ log2 n sendo n o nº de acontecimentos – 1 bit é a quantidade de informação que “ganhamos” quando ocorre 1 de 2 acontecimentos possíveis e equiprováveis. CCISEL 99 Teoria Matemática da Comunicação 2-6 Criptografia Computacional 3
  4. 4. Definição de entropia conjunta• Define-se entropia conjunta das v.a. X e Y comoH(X,Y) = ∑ ∑ p( xi , yj ) log2 1/ p( xi , yj ) xi ∈X yi ∈Y – se X e Y são independentes então H(X,Y) = H(X) + H(Y)• Entropia conjunta é a medida da quantidade de informação necessária, em média, para descrever o par de v.a. (X,Y) – H(X,Y) ≤ H(X) + H(Y) CCISEL 99 Teoria Matemática da Comunicação 2-7 Criptografia ComputacionalAnálise do sistema One Time Pad de Vernam Dados: k1 p(a) = 1/4, p(b) = 3/4 1 a k2 P(k1) = 1/2, p( k2 ) = 1/2 k2 Verifica-se que b 2 k1 H(X) ≈ 0,81 [bit/texto] H(K) = 1 [bit/chave] Verifica-se ainda que: H(Y) = 1 [bit/cripto] H(X,Y) = H(X) + H(Y) ≈ 1,81 pois X e Y são independentes, uma vez que p(x|y) = p(x) para todo o x e para todo o y CCISEL 99 Teoria Matemática da Comunicação 2-8 Criptografia Computacional 4
  5. 5. Entropia condicionada• Sejam as v.a. X e Y; para qualquer valor fixo y de Y, dada a distribuição (condicional) de probabilidade p(X|y), define-se H(X|y) = ∑ p( xi | y ) log2 1/ p( xi | y ) xi ∈X CCISEL 99 Teoria Matemática da Comunicação 2-9 Criptografia ComputacionalDefinição de entropia condicionada (média)• Define-se entropia condicionada (média) da v.a. X dado Y comoH(X|Y) = ∑ ∑ p( xi , yj ) log2 1/ p( xi | yj ) xi ∈X yi ∈Y – se X e Y são independentes então H(X|Y) = H(X)• Entropia condicionada é a medida da quantidade de informação necessária, em média, para descrever a v.a. X dado que se conhece Y – H(X|Y) = H(X,Y) - H(Y) – H(X|Y) ≤ H(X) CCISEL 99 Teoria Matemática da Comunicação 2 - 10 Criptografia Computacional 5
  6. 6. Análise do sistema One Time Pad de Vernam Dados: k1 p(a) = 1/4, p(b) = 3/4 1 a k2 P(k1) = 1/2, p( k2 ) = 1/2 k2 Verifica-se que b 2 k1 H(X) ≈ 0,81 [bit/texto] H(K) = 1 [bit/chave] H(Y) = 1 [bit/cripto]H(X|Y) = ? H(X|Y) = H(X) ≈ 0,81pois X e Y são independentes, uma vez que p(x|y) = p(x) paratodo o x e para todo o y CCISEL 99 Teoria Matemática da Comunicação 2 - 11 Criptografia ComputacionalAnálise do sistema One Time Pad de Vernam Dados (outro exemplo): k1 1 p(a) = 1/4, p(b) = 3/4 a k2 P(k1) = 1/4, p( k2 ) = 3/4 k2 Verifica-se que b 2 k1 H(X) ≈ 0,81 [bit/texto] H(K) ≈ 0,81 [bit/chave] H(Y) ≈ 0,95 [bit/cripto]H(X|Y) = ? H(X|Y) ≈ 0,66 < H(X)dado o criptograma, a incerteza do texto é menorpois X e Y não são independentes, uma vez que p(x|y) ≠ p(x)para todo o x e para todo o y (não existe segurança perfeita) CCISEL 99 Teoria Matemática da Comunicação 2 - 12 Criptografia Computacional 6

×