O documento discute a teoria da informação e o conceito de entropia de Shannon. Explica que a entropia quantifica a incerteza envolvida em uma variável aleatória e que para um dado honesto com 6 resultados igualmente prováveis, a entropia é igual a log2(6) ou aproximadamente 2,6 bits, e não 3,6 bits como afirmado no enunciado.

1. concurseiro_estatistico@outlook.com

2. concurseiro_estatistico@outlook.com

3. Enunciado ABIN/2018 Cebraspe
Considerando 1, 6 como valor aproximado para log2 3, julgue os próximos itens, a
respeito de entropia na teoria da informação.
131. A entropia relativa, ou divergência de Kullback-Leibler, é uma medida para a
distância de duas distribuições de um conjunto de dados, uma correta e outra
incorretamente assumida, e é sempre um número positivo.
132. A entropia de um dado honesto é igual a 3, 6.

4. §
¦
¤
¥
Teoria da Informação
A Teoria da Informação dá um tratamento matemático (ou quantitativo)
rigoroso a medidas de informação, suas propriedades e aplicações em vários
ramos do conhecimento. Foi desenvolvida inicialmente em telecomunicações
por Claude E. Shannon.
A medida chave em teoria da informação é a entropia. A entropia quantica
a quantidade de incerteza envolvida no valor de uma variável aleatória ou na
saída de um processo aleatório.

5. Entropia de Shannon
132. Seja a variável aleatória {x1, x2, . . . , xn} em que pi =
1
n
é a probabilidade
associada a xi. Partindo da denição de entropia de Shannon:
HS
(p1, p2, . . . , pn) = −
n
i=1
pi log pi = −
n
i=1
pi log2
1
n
= − log2
1
n
7
1
n
i=1
pi = − log2 n−1
= log(n)
Portanto para um dado honesto,
Ω = {1, 2, 3, 4, 5, 6} ⇒ pi =
1
6
, i = 1, 2, . . . , 6.
HS
= log2 6 = log2 2 × 3 = log2 2 + log2 3 = 1 + 1, 6 = 2, 6 bits 3, 6.

6. GABARITO ABIN/2018 Cebraspe
Considerando 1, 6 como valor aproximado para log2 3, julgue os próximos itens, a
respeito de entropia na teoria da informação.
131. A entropia relativa, ou divergência de Kullback-Leibler, é uma medida para a
distância de duas distribuições de um conjunto de dados, uma correta e outra
incorretamente assumida, e é sempre um número positivo.
132. A entropia de um dado honesto é igual a 3, 6. ⇒ ERRADO!