Cadenos de Inteligencia artificial

1. CADERNOS DE INTELIGÊNCIA ARTIFICIAL
Exemplos em Python
Prof. Ronaldo F. Ramos, Dr
3 de março de 2021
1/40

2. Incerteza II
2/40

3. Regra do Produto
Já vimos a regra do produto:
P(a ∧ b) = P(a|b) ∗ P(b) (1)
Sejam os valores x1, x2, x3...xn de uma variável X.
A probabilidade de x1 e x2 seria:
P(x1 ∧ x2) = P(x1|x2) ∗ P(x2) (2)
Que pode ser escrito como:
P(x1, x2) = P(x1|x2) ∗ P(x2) (3)
3/40

4. Lei Associativa
A união e a intersecção de conjuntos são associativas.
A ∪ B ∪ C ≡ A ∪ (B ∪ C) ≡ (A ∪ B) ∪ C (4)
A ∩ B ∩ C ≡ A ∩ (B ∩ C) ≡ (A ∩ B) ∩ C (5)
Na lógica também.
A ∧ B ∧ C ≡ A ∧ (B ∧ C) ≡ (A ∧ B) ∧ C (6)
E consequentemente na probabilidade.
P(A ∧ B ∧ C) ≡ P(A ∧ (B ∧ C)) ≡ P((A ∧ B) ∧ C) (7)
4/40

5. Regra do produto expandida
P(x1, x2, x3) = P(x1, (x2, x3)) = P(x1|x2, x3) ∗ P(x2, x3) (8)
Que leva a:
P(x1, x2, x3) = P(x1|x2, x3) ∗ P(x2|x3) ∗ P(x3) (9)
No caso de 4 variáveis teremos:
P(x1, x2, x3, x4) = P(x1|x2, x3, x4) ∗ P(x2|x3, x4) ∗ P(x3|x4) ∗ p(x4) (10)
Que nos leva a regra da cadeia.
5/40

6. Regra da Cadeia
P(x1, ..xn) =
n
Y
i=1
P(xi |x1, ..., xi−1) (11)
Exs.
i = 1, P(x1) = P(x1)
i = 2, P(x1, x2) = P(x1) ∗ p(x2|x1)
i = 3, P(x1, x2, x3) = P(x1) ∗ P(x2|x1) ∗ P(x3|x2)
Isso nos permitirá o uso de um mecanismo de inferência por enumeração.
6/40

7. Distribuição de Probabilidade Conjunta
Sejam três variáveis abaixo e suas distribuições de probabilidade.
Covid : { covid, ¬ covid }
Teste rápido de Covid : { positivo, ¬ positivo }
Febre : { febre, ¬ febre }
febre ¬ febre
positivo ¬ positivo positivo ¬ positivo
covid 0,111 0,019 0,072 0,008
¬ covid 0,013 0,057 0,144 0,576
7/40

8. O significado da distribuição conjunta
P(febre, positivo, covid) = 0.111
P(febre, positivo, ¬covid) = 0.013
P(febre, ¬positivo, covid) = 0.019
P(¬febre, positivo, covid) = 0.072
Relembrando:
P(febre, positivo, covid) = P(Febre = (febre = V ), Teste = (positivo = V ), Covid = (covid =
V ))
8/40

9. Marginalização
Qual a probabilidade de alguém estar com a Covid?
P(covid) = 0.111 + 0.019 + 0.072 + 0.008 = 0.21
febre ¬ febre
positivo ¬ positivo positivo ¬ positivo
covid 0,111 0,019 0,072 0,008
¬ covid 0,013 0,057 0,144 0,576
9/40

10. Marginalização
Qual a probabilidade de alguém estar com febre?
P(febre) = 0.111 + 0.019 + 0.013 + 0.057 = 0.20
febre ¬ febre
positivo ¬ positivo positivo ¬ positivo
covid 0,111 0,019 0,072 0,008
¬ covid 0,013 0,057 0,144 0,576
10/40

11. Marginalização
Marginalização é feita pela soma (Total).
11/40

12. Teorema/Lei da Probabilidade Total
P(A) =
X
n
P(A|Bn) ∗ P(Bn) (12)
se n = 1, P(A) = P(A|B1) ∗ P(B1)
se n = 2, P(A) = P(A|B1) ∗ P(B1) + P(A|B2) ∗ P(B2)
se n = 3, P(A) = P(A|B1) ∗ P(B1) + P(A|B2) ∗ P(B2) + P(A|B3) ∗ P(B3)
12/40

13. Marginalização
Mas como vimos,
P(A|B) ∗ P(B) = P(A, B)
Então:
P(A) = P(A, B1) + P(A, B2) + P(A, B3)...
Daı́:
P(Y) =
X
z
P(Y, z) (13)
13/40

14. Marginalização
Através de uma distribuição de probabilidade conjunta podemos calcular as probabilidades
marginais (totais)
14/40

15. Proposições complexas- Conjunção
Qual a probabilidade de ter Covid e febre?
P(covid ∧ febre) = 0.111 + 0.019 = 0.13
febre ¬ febre
positivo ¬ positivo positivo ¬ positivo
covid 0,111 0,019 0,072 0,008
¬ covid 0,013 0,057 0,144 0,576
15/40

16. Proposições complexas - Disjunção
Qual a probabilidade de ter Covid ou febre?
P(covid ∨ febre) = 0.111 + 0.019 + 0.072 + 0.008 + 0.013 + 0.057 = 0.28
febre ¬ febre
positivo ¬ positivo positivo ¬ positivo
covid 0,111 0,019 0,072 0,008
¬ covid 0,013 0,057 0,144 0,576
Lembremos:
P(covid) = 0.21 , P(febre) = 0.20, P(covid ∧ febre) = 0.13
Dá pra conferir que:
P(A ∨ B) = P(A) + P(B) − P(A ∧ B) = 0.21 + 0.20 − 0.13 = 0.28
16/40

17. Proposições Complexas - Condicionamentos
Qual a probabilidade de alguém não ter covid sabendo-se que está com febre?
P(¬covid|febre) =
P(¬covid ∧ febre)
P(febre)
=
0.013 + 0.057
0.111 + 0.019 + 0.013 + 0.057
= 0.35 (14)
Aqui temos uma coisa interessante.
17/40

18. Normalização
A soma da distribuição de probabilidade de uma variável é sempre 1.
Ou seja:
P(A) + P(¬A) = 1 ou P(A|...) + P(¬A|...) = 1
Então:
P(covid|febre) + P(¬covid|febre) = 1
18/40

19. Normalização
Representando na forma matricial
"
P(covid|febre)
P(¬covid|febre)
#
=


P(covid∧febre)
P(febre)
P(¬covid∧febre)
P(febre)

 (15)
Ou
"
P(covid|febre)
P(¬covid|febre)
#
=
1
P(febre)
∗
"
P(covid ∧ febre)
P(¬covid ∧ febre)
#
(16)
19/40

20. Normalização
P(Covid|febre) = αP(Covid, febre) (17)
Onde α é chamada constante de normalização, ou seja um número qualquer que multiplicado
pelas probabilidades conjuntas faça com que sua soma seja 1.
* Atenção: P é um vetor.
20/40

21. Exemplo
P(Covid|febre) = α P(Covid, febre)
Então:
P(Covid|febre) = α[P(covid, febre, positivo) + P(covid, febre, ¬positivo)] Daı́:
P(Covid|febre) = α
"
0.111
0.013
#
+
"
0.019
0.057
#
(18)
Que resulta em :
P(Covid|febre) = α
"
0.13
0.07
#
(19)
21/40

22. Normalização
É fácil calcular o α.
α = 1/(0.13 + 0.07) = 5
E o resultado final será:
P(Covid|febre) =
"
0.65
0.35
#
(20)
Ou seja:
P(covid|febre) = 0.65
P(¬covid|febre) = 0.35
22/40

23. Inferência por Enumeração
Seja o conjunto de variáveis analisadas X. (Ex. Covid,Febre,Teste)
Seja o conjunto das variáveis de consulta Y. Ex. (Covid)
Seja o conjunto das variáveis de evidência E=e. Ex Febre = (febre=V) com valores
fixados(definidos)
Seja o conjunto das variáveis ocultas: H = X - Y - E Então:
P(Y |E = e) = αP(Y , E = e) = α
X
h
P(Y , E = e, H = h) (21)
23/40

24. Inferência Por Enumeração
Seja Aridade (a) o número de elementos de domı́nio de uma variável.
Vamos supor uma variável de consulta de aridade 2:
Y : {y1, y2}
Seja uma variável oculta de aridade 4:
H : {h1, h2, h3, h4}
24/40

25. Inferência Por Enumeração
A equação (21) divide-se em:
P(y1|E = e) = αP(y1, E = e) = α
X
h
P(y1, E = e, H = h) (22)
P(y2|E = e) = αP(y2, E = e) = α
X
h
P(y2, E = e, H = h) (23)
Os dois cálculos precisam ser feitos para que se encontre o α. A equação (22) fica:
α[P(y1, E = e, h1) + P(y1, E = e, h2) + P(y1, E = e, h3) + P(y1, E = e, h4)]
A equação (23) fica idêntica mudando o y1 para y2
α[P(y2, E = e, h1) + P(y2, E = e, h2) + P(y2, E = e, h3) + P(y2, E = e, h4)]
Temos quatro fatores que precisam ser calculados duas vezes ( 4 x 2).
25/40

26. Complexidade
Seja n o número de variáveis com aridade (ai ). No pior caso a = max(ai )
Então:
Commplexidade de Tempo = Complexidade de Espaço = O(an)
No caso da nossa tabela da Covid temos 3 variáveis binárias, daı́ o número de células na
tabela(entradas) é 2 x 2 x 2 ou 23
26/40

27. Idependência Condicional
A soma de uma distribuição de probabilidade sempre é 1. Então se temos 8 células o valor da
última será 1 − soma das outras. Dizemos que temos 7 (2n − 1) entradas independentes e 1
dependente.
É possı́vel simplificar obtendo os mesmos resultados? Obter uma tabela menor, mas que
continue permitindo as mesmas inferências (cálculos)?
27/40

28. Independência Condicional
Vamos supor que tivéssemos feito um estudo incluindo a variável Tempo em nossa análise
(Tempo não tem nada a ver com Covid, mas pode ser que alguém ache que sim). O número
de células(entradas,linhas,.. )
Ne seria: Ne = 2x2x2x4 = 32
Questões:
→ A variável Tempo tem que estar no modelo, ou em tabela separada?
→ Elas são correlacionadas (dependentes)?
*Independência absoluta é rara
28/40

29. Independência Condicional
Duas proposições (A) e (B) são condicionalmente independentes sse:
P(A|B) = P(A) ou P(B|A) = P(B)
daı́:
P(A, B) = P(A) ∗ P(B)
*Se duas variáveis são completamente independentes, porque irı́amos querer construir uma
DPC com as mesmas?
29/40

30. Independência no Domı́nio Covid
Qual a probabilidade de um teste dar positivo quando se tem Covid e se está com febre?
É óbvio que a variável febre não entra na execução do teste e portanto não haveria relação
direta entre febre e teste, mas entre Covid e teste sim.
Então:
P(Teste|Covid ∧ Febre) = P(Teste|Covid)
*Afirmamos que Teste é condicionalmente independente de Febre dado Covid. Esse valor
mede a qualidade do teste.
30/40

31. Afirmações equivalentes
P(Febre|Teste, Covid) = P(Febre|Covid)
P(Febre, Teste|Covid) = P(Teste|Covid) ∗ P(Teste|Covid)
31/40

32. Simplificando
Voltando as nossas equações:
P(Febre, Teste, Covid) = P(Febre|Teste, Covid) ∗ P(Teste, Covid)
= P(Febre|Teste, Covid) ∗ P(Teste|Covid) ∗ P(Covid)
= P(Febre|Covid) ∗ P(Teste|Covid) ∗ P(Covid)
32/40

33. Simplificando
P(Febre|Covid) ∗ P(Teste|Covid) ∗ P(Covid)
Analisando a parte positiva do vetor P (A parte negativa é dependente):
(Febre|Covid) =< (Febre|covid), (Febre|¬covid) > 2 Valores independentes
(Teste|Covid) =< (Teste|covid), (Teste|¬covid) > 2 Valores independentes
(covid) > Um valor independente
Total de valores independentes = 5 / 7(Caso anterior)
*Moral da história: independência condicional ajuda a diminuir a quantidade de contas a fazer
*Entrada independente = aquela que não pode ser obtida a partir das outras.
33/40

34. Bayes
Relembrando a fórmula do produto
P(A, B) = P(A|B) ∗ P(B) = P(B|A) ∗ P(A) (24)
Logo
P(A|B) =
P(B|A) ∗ P(A)
P(B)
(25)
Retirando o denominador e passando para a forma vetorial teremos:
P(Y |X) = α P(X|Y ) ∗ P(Y ) (26)
34/40

35. Aplicações
Útil para determinação de uma probabilidade de diagnóstico a partir da probabilidade causal.
P(Causa|Efeito) = P(Efeito|Causa)P(Causa)/P(Efeito)
Ex.
Seja M a proposição (”Estar com meningite”) com valores de verdade m e falso ¬m.
Seja S a proposição (”Ter pescoço enrijecido”) com valores igualmente s e ¬s.
A literatura médica fala que 80% das pessoas que tem meningite ficam com o pescoço
enrijecido. Logo: P(s|m) = 0.8
35/40

36. Aplicação de Bayes
Supondo que esteja ocorrendo uma epidemia de meningite que contaminou imediatamente 1 a
cada 10000 pessoas e que 10 por cento das pessoas acordam com o pescoço rı́gido dolorido
por algum motivo. Como vc diagnosticaria a probabilidade de uma pessoa que chega em seu
consultório ter meningite dado que ela apresenta o sintoma pescoço rı́gido e vc é o médico de
plantão?
36/40

37. Inferência Bayesiana
Dados:
P(s|m) = 0.8 P(m) = 0.0001
P(s) = 0.1 P(m|s) =?
Entao:
P(m|s) =
0.8 ∗ 0.0001
0.1
= 0.0008 (27)
37/40

38. Bayes na Covid
P(Covid|Febre, Teste) = αP(Febre ∧ Teste|Covid)
= α ∗ P(Febre|Covid) ∗ P(Teste|Covid) ∗ P(Covid)
Aqui a causa é Covid e os efeitos são Teste e Febre. Se uma causa tem muito efeitos e todos
são independentes entre si, temos:
P(Causa, Efeito1, Efeito2, ..., Efeiton) = P(Causa) ∗
Y
i
P(Efeitoi |Causa) (28)
Se nem todos os efeitos não são independentes a fórmula acima fornece uma aproximação
bem razoável e pode ser usada para aproximação e comparações.
38/40

39. Naı̈ve Bayes
Esta fórmula é chamada de modelo de Bayes ingênuo, naı̈ve ou idiota, mas funciona muito
bem para muitas coisas.
P(Causa, Efeito1, Efeito2, ..., Efeiton) = P(Causa) ∗
Y
i
P(Efeitoi |Causa) (29)
39/40

40. FIM
40/40