[1] O documento apresenta um resumo sobre cadeias de Markov, que são processos estocásticos onde a probabilidade do estado atual depende apenas do estado anterior e não dos estados anteriores. [2] É definido o que são sequências aleatórias e variáveis aleatórias discretas. [3] São apresentados exemplos de como calcular as probabilidades de transição entre estados em cadeias de Markov de primeiro e segundo passo.

1. VI SEMANA DE MATEM´ATICA DA UESC
Introdu¸c˜ao `a Cadeias de Markov: Processos Markovianos de
parˆametro discreto
Autores: Msc. Cl´audia Ribeiro Santana
Phd. Enio G. Jelihovschi
Msc. Pedro Carlos Elias Ribeiro Junior
Ilh´eus - BA
Outubro de 2007

2. Resumo
Uma grande quantidade de processos estudados na atualidade, s˜ao resultados que s˜ao medi-
dos ao longo do tempo. Dentro destes um grande n´umero tem resultados aleat´orios, ou seja, s˜ao
resultados imprevis´ıveis. Estes processos s˜ao chamados de processos estoc´asticos e s˜ao estuda-
dos usando a teoria das probabilidades. Como exemplos temos: 1) a varia¸c˜ao de tr´afego em um
certo cruzamento que envolvem a forma¸c˜ao e a dissipa¸c˜ao de congestionamentos de ve´ıculos. 2)
Quantidade de pessoas que chegam ao longo do dia para fazer transa¸c˜oes banc´arias nos caixas
eletrˆonicos dentro de um banco e um problema seria de como encontrar o n´umero de caixas
eletrˆonicos para que os clientes passem menos tempo nas filas e n˜ao haja muitos caixas ociosos
durante o dia. 3) Ru´ına do jogador; um jogador joga uma seq¨uˆencia de jogos independentes
contra um oponente, qual ser´a a probabilidade de um dos jogadores se arruinar se iniciar com
um capital N? 4) Muta¸c˜oes gen´eticas; qual ´e a probabilidade de uma muta¸c˜ao desaparecer,
continuar numa pequena propor¸c˜ao da popula¸c˜ao, ou tomar conta de toda a popula¸c˜ao depois
de um certo per´ıodo de tempo?
Um dos modelos que melhor explica uma quantidade importante destes processos, ´e chamado
de Cadeias de Markov, que s˜ao processos aleat´orios cujo resultado no est´agio n depende somente
do que aconteceu no est´agio n − 1 e n˜ao dos resultados anteriores a n − 1, ou seja, um Processo
Markoviano de parˆametro discreto ser´a uma seq¨uˆencia aleat´oria que satisfaz a identidade:
Pr(jk | j0, j2,..., jk−1) = Pr[Xk = jk | Xk−1 = jk−1] = p( jk | jk−1)
para cada k e para cada seq¨uˆencia j0, j2,..., jk de estados, onde Xk s˜ao vari´aveis aleat´orias que
definem o resultado do processo no est´agio k.
Sabe-se que uma cadeia aperi´odica, irredut´ıvel, finita de Markov se estaciona, ou seja, entra
em um estado permanente e o vetor limite ´e o ´unico vetor de probabilidade estacion´aria do
processo. Na verdade este vetor ´e um autovetor associado `a matriz (regular) de probabilidades
de transi¸c˜ao do processo, da´ı, o problema iniciado recai na ´algebra linear onde teremos que
utilizar as ferramentas desta ´area da matem´atica para encontrar tal autovetor.

3. Cap´ıtulo 1
Defini¸c˜oes
Este cap´ıtulo se dedica a definir alguns conceitos que s˜ao necess´arios para o restante do estudo
desejado.
Muitas das situa¸c˜oes investigadas no nosso estudo diz respeito `a uma experiˆencia aleat´otia
que n˜ao conduz a uma ´unica vari´avel aleta´oria, mas a toda uma seqˆencia de vari´aveis aleat´orias.
Sequˆencia de vari´aveis aleat´orias tem uma ampla aplica¸c˜ao em diversos casos, a saber:
pedidos comerciais, avarias de m´aquinas, tempo de vida ´util de um componente eletrˆonico,
sistemas de comunica¸c˜ao, cintagem de part´ıculas subatˆomicas, epidimias, sistemas gen´eticos, e
outros.
Qualquer sistema que varie de forma aleat´oria com o tempo e seja observado em determi-
nadas sequˆencias de tempos segue este padr˜ao.
Defini¸c˜ao 1.1. Uma sequˆencia de vari´aveis aleat´orias definidas no mesmo espa¸co amostral ´e
denominada uma Sequˆencia Aleat´oria ou um Processo Aleat´orio de Parˆametro Discreto.
Observa¸c˜ao 1.1. O termo Parˆametro Discreto se refere ao ´ındice i na sequˆencia Xi com
i = 1, 2, . . . , n, . . .
Os contradom´ınios das vari´aveis alat´orias podem ser conjuntos cont´ınuos ou discretos. Nosso
caso ´e aquele em que o contradom´ınio ´e um conjunto discreto, que tem grande vairedade de
aplica¸c˜oes.
Defini¸c˜ao 1.2. Dizemos que as vari´aveis aleat´orias na sequˆencia {X1, X2, . . . , Xn, . . .} sejam
Discretas se seus contradom´ınios consistem de conjuntos de elementos Inteiros. Nesta caso
pode-se afirmar que a j-´esima vari´avel aleat´oria tem valor m, ou seja Xj = m, ou ent˜ao, diz-se
que o sistema est´a no estado m no j-´esimo est´agio, e tamb´em, o sistema est´a no estado m no
tempo j.
1

4. O problema consiste em responder alguns questionamentos sobre a fun¸c˜ao densidade da
probabilidade conjunta ou da fun¸c˜ao distribui¸c˜ao de X1, X2, . . . , Xn, ou seja, quanto `a
p(i1, i2, . . . , in) = Pr[X1 = i1; X2 = i2; . . . ; Xn = in]
ou
F(x1, x2, . . . , xn) = Pr[X1 ≤ x1; X2 ≤ x2; . . . ; Xn ≤ xn]
quando n ´e um n´umero suficientemente grande, ou investigar sobre tais quest˜oes no caso do
limite emq ue n tende ao infinito.
Uma forma de de se conhecer tais probabilidades e atrav´es do emprego repetido da f´ormula
para a probabilidade da intersec¸c˜ao p(A ∩ B) = p(A) · p(B|A), obtendo que
p(i1, i2, . . . , in) = pX1, X2, ..., Xn−1 (i1, i2, . . . , in−1)p(in|i1, i2, . . . , in−1)
= . . .
...
p(i1, i2, . . . , in) = p
(1)
i1
p(i2|i1)p(i3|i1, i2) . . . p(in|i1, i2, . . . , in−1),
onde p
(1)
i1
´e a fun¸c˜ao densidade de X1, ou seja, p
(1)
i1
= Pr[X1 = i1], e o significado de cada uma
das outras probabilidades condicionais ´e natural. Desta forma a equa¸c˜ao anterior se torna
Pr[X1 = i1; X2 = i2; . . . ; Xn = in] = Pr[X1 = i1]Pr[X2 = i2|X1 = i1] . . .
Pr[Xn = in|X1 = i1; X2 = i2; . . . ; Xn−1 = in−1]

5. EXEMPLOS
1. Existem trˆes marcas de autom´oveis dispon´ıveis no mercado: o Jacar´e, o Piranha e o
Urubu. O termo aij da matriz A abaixo ´e a propabilidade de que um dono de carro da
linha i mude para o carro da coluna j, quando comprar um carro novo.
De
J
P
U
J
0, 7
0, 3
0, 4
Para
P
0, 2
0, 5
0, 4
U
0, 1
0, 2
0, 2
Os termos da diagonal de A =


7
10
2
10
1
10
3
10
5
10
2
10
4
10
4
10
2
10

d˜ao a probabilidade aii de se comprar um
carro novo da marca.
A2
=


59
100
7
25
13
100
11
25
39
100
17
100
12
25
9
25
4
25

. Os termos de A2
, aij, significam mudar da marca i para a marca
j depois de duas compras:
De fato: a11 = probabilidade de tendo inicialmente um carro da marca J mudar para um
outro carro desta mesma marca, ou seja, J, depois de duas compras.
J
7
10
→
J
7
10
→
J J
2
10
→
P
3
10
→
J J
1
10
→
U
4
10
→
J
Da´ı, a11 = 7
10
· 7
10
+ 2
10
· 3
10
+ 1
10
· 4
10
= 59
100
.
a12 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro
carro da marca P depois de duas compras.
J
7
10
→
J
2
10
→
P J
2
10
→
P
5
10
→
P J
1
10
→
U
4
10
→
P

6. Da´ı, a12 = 7
10
· 2
10
+ 2
10
· 5
10
+ 1
10
· 4
10
= 28
100
.
a13 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro
carro da marca U depois de duas compras.
J
7
10
→
J
1
10
→
U J
2
10
→
P
2
10
→
U J
1
10
→
U
2
10
→
U
Da´ı, a13 = 7
10
· 1
10
+ 2
10
· 2
10
+ 1
10
· 4
10
= 13
100
.
a21 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro da marca J depois de duas compras.
P
3
10
→
J
7
10
→
J P
5
10
→
P
3
10
→
J P
2
10
→
U
4
10
→
J
Da´ı, a21 = 3
10
· 7
10
+ 5
10
· 3
10
+ 2
10
· 4
10
= 44
100
.
a22 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro desta mesma marca, ou seja, P, depois de duas compras.
P
3
10
→
J
2
10
→
P P
5
10
→
P
5
10
→
P P
2
10
→
U
4
10
→
P
Da´ı, a22 = 3
10
· 2
10
+ 5
10
· 5
10
+ 2
10
· 4
10
= 39
100
.
a23 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro
carro da marca U depois de duas compras.

7. P
3
10
→
J
1
10
→
U P
5
10
→
P
2
10
→
U P
2
10
→
U
2
10
→
U
Da´ı, a23 = 7
10
· 2
10
+ 2
10
· 5
10
+ 1
10
· 4
10
= 16
100
.
a31 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca J depois de duas compras.
U
4
10
→
J
7
10
→
J U
4
10
→
P
3
10
→
J U
2
10
→
U
4
10
→
J
Da´ı, a31 = 4
10
· 7
10
+ 4
10
· 3
10
+ 2
10
· 4
10
= 48
100
.
a32 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca P depois de duas compras.
U
4
10
→
J
2
10
→
P U
4
10
→
P
5
10
→
P U
2
10
→
U
4
10
→
P
Da´ı, a32 = 4
10
· 2
10
+ 4
10
· 5
10
+ 2
10
· 4
10
= 36
100
.
a33 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro
carro da marca U depois de duas compras.
U
4
10
→
J
1
10
→
U U
4
10
→
P
2
10
→
U U
2
10
→
U
2
10
→
U
Da´ı, a33 = 4
10
· 1
10
+ 4
10
· 2
10
+ 2
10
· 2
10
= 16
100
.

8. 2. Seja {XN } uma cadeia de Markov com espa¸co dos estados {0, 1, 2}, vetor de probabilidade
inicial p(0)
= (1
4
, 1
2
, 1
4
) e matriz de transi¸c˜ao de 1 passo P:
P =


1
4
3
4
0
1
3
1
3
1
3
0 1
4
3
4


(a) Calcule p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1].
(b) Mostre que P[X1 = 1 e X2 = 1|X0 = 0] = p01p11.
(c) Calcule p
(2)
01 , p
(3)
ij para i, j = 0, 1, 2.
RESPOSTAS:
(a) p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1] =
= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1, X0 = 0] =
= Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1] = 1
4
· 3
4
· 1
3
= 1
16
.
(b)
0
1
4
→
1
3
4
→
1
Ou seja, P[X1 = 1 e X2 = 1|X0 = 0] = p01p11.
(c) Calcule p
(2)
01 = a probabilidade de passar do estado 0 ao estado 1 depois de 2 passos.
0
1
4
→
0
3
4
→
1 0
3
4
→
1
1
3
→
1 0
0
→
2
1
4
→
1
Da´ı, p
(2)
01 = 1
4
· 3
4
+ 3
4
· 1
3
+ 0 · 1
4
= 7
16
.
O mesmo resultado pode ser obtido calculando o elemento a12 da 2a
potˆencia da
matriz de transi¸c˜ao:


1
4
3
4
0
1
3
1
3
1
3
0 1
4
3
4

 ·


1
4
3
4
0
1
3
1
3
1
3
0 1
4
3
4

 =


5
16
7
16
1
4
7
36
4
9
13
36
1
12
13
48
31
48


P(3)
=


43
192
85
192
1
3
85
432
83
216
181
432
1
9
181
576
331
576


Os termos p
(3)
ij s˜ao as entradas da 3a
potˆencia da matriz de transi¸c˜ao P.

9. 3. Um sistema de comunica¸c˜ao tem uma probabilidade tal que, se um s´ımbolo ´e transmitido
corretamente, a probabilidade de que o s´ımbolo seguinte seja correto ´e de 0,9. Se, no en-
tanto, um s´ımbolo for transmitido incorretamente, a probabilidade de o pr´oximo tamb´em
o seja ´e de 0,5. A trasmiss˜ao pode ser modelada pela seq¨uˆencia markoviana dependente,
{X1, X2, · · · } onde Xi = 1 se o i-´esimo s´ımbolo for transmitido corretamente, Xi = 0 se
o i-´esimo s´ımbolo for incorreto. Suponha que a probabilidade de que o primeiro s´ımbolo
seja transmitido corretamente seja de 0,7.
(a) Calcule as probabilidades de transmiss˜ao p(in, in−1).
(b) Calcule p(i1, i2, · · · , in).
(c) Calcule Pr[X3 = 1].
(d) Se o k-´esimo s´ımbolo for correto, Xk = 1, qual a probabilidade de que (k + 2)-´esimo
s´ımbolo seja correto, isto ´e, Xk+2 = 1
RESPOSTAS
(a) as probabilidades de transmiss˜ao p(in, in−1) s˜ao as entradas da seguinte matriz (de
transi¸c˜ao) :
A =
9
10
1
10
5
10
5
10
A2
=
43
50
7
50
7
10
3
10
(b) p(i1, i2, · · · , in) = p(i1) · p(i2, i1) · · · p(in, in−1).
(c) Pr[X3 = 1] = 7
10
· p11 · p11 + 7
10
· p12 · p21 + 3
10
· p21 · p11 + 3
10
· p22 · p21.
(d) Se o k-´esimo s´ımbolo for correto, Xk = 1, a probabilidade de que (k + 2)-´esimo
s´ımbolo seja correto, isto ´e, Xk+2 = 1 ´e p
(2)
11 = 43
50
.

10. Defini¸c˜ao 1.3. Uma sequˆencia X1, X2, . . . , Xn ´e dita uma Sequˆencia de Vari´aveis Aleat´orias
Independentes se
p(in|i1, i2, . . . , in−1) = p
(n)
in
e
p(i1, i2, . . . , in) = p
(1)
i1
p
(2)
i2
. . . p
(n)
in
Se, al´em disto, todas as vari´aveis aleat´orias tem a mesma fun¸c˜ao distribui¸c˜ao, ou seja,
p
(j)
i = pi, para cada j, a sequˆencia ´e dita Sequˆencia de Vari´aveis Aleat´orias Independentes
com Mesma Distribui¸c˜ao.
EXEMPLO
4. Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se
uma coroa aparecer.
Defini¸c˜ao 1.4. A sequˆencia aleat´oria {X1, X2, . . . , Xn} ´e dita Serquˆencia Dependente
de Markov, ou um Processo de Markov caso a probabilidade condicional
p(in|i1, i2, . . . , in−1) = Pr[Xn = in|X1 = i1, X2 = i2, . . . , Xn−1 = in−1].
Isto significa que
p(in|i1, i2, . . . , in−1) = p(in|in−1)
ou
Pr(Xn = in|X1 = i1, X2 = i2, . . . , Xin−1 = in−1) = Pr[Xn = in|Xn−1 = in−1].
Exemplo 1.1. Considere uma seuqˆencia independente {X1, X2, . . . , Xm, . . .}, onde cada
Xi = +1 ou Xi = −1, com probabilidade p e q, respectivamente. Agora defina a sequˆencia
Yn = X1 + X2 + . . . + Xn,
para n = 1, 2, . . . , e considere a sequˆencia
{Y1, Y2, . . . , Ym, . . .},

11. Se a sequˆencia X representa uma sequˆencia independentede passos da unidade de +1
ou −1no eixo real, ent˜ao Yn representa a posi¸c˜ao depois de n passos. Por esta raz˜ao a
sequˆencia {Y1, Y2, . . . , Ym, . . .} ´e chamado de caminho aleat´orio. sta sequˆencia aleat´oria
espec´ıfica ´e extremamente importante, tnato teoricamente, como em estudos de ordem
pr´atica. O estudo de suas propriedades, e determinadas generaliza¸c˜oes ocupa grande parte
da teoria de probabilidade. Aqui s´o se destaca o fato de que a sequˆencia {Y1, Y2, . . . , Ym, . . .}
n´ao ´e uma sequˆencia independente, a despeito do fato de ser proveniente de uma sequˆencia
independente {X1, X2, . . . , Xm, . . .}. Note que
Yn − Yn−1 = Xn =⇒ Yn = Yn−1 + Xn
Assim, se Yn−1 for dado, Yn depender´a somente de Xn, que ´e independente de qualquer
X‘
e e Y ‘
s anteriores. Desta forma
p(in|in−1) = Pr[Yn = in|Yn−1 = in−1]
= Pr[Yn−1 + Xn = in|Yn−1 = in−1]
= Pr[in−1 + Xn|Yn−1 = in−1]
= Pr[Xn = in − in−1]
Uma vez que Xn ´e independente de X1, X2, . . . , Xn−1e, consequentemente de Yn−1, seque
que
p(in|in−1) =



p, se in = in−1 + 1
q, se in = in−1 − 1
0, para qualquer outro valor
Assim, observa-se que a sequˆencia tem probabilidade de transi¸c˜ao estacion´aria
pij =



p, se j = in−1 + 1
q, se j = in−1 − 1
0, para qualquer outro valor
para i, j = 0, ±1, ±2, . . .

12. EXERC´ICIOS PROPOSTOS
(a) Seja {X1, X2, · · · } uma seq¨uˆencia aleat´oria independente onde cada Xi, assume
somente os valores 1 e 0 com probabilidades p e q, p + q = 1. Mostre que
X1, X2, · · · , Xn tem densidade conjunta p(i1, i2, · · · , ik) = pt
qn−t
onde t = n
k=1 ik.
Considere Sk = k
i=1 Xi para k = 1, 2, · · ·
i. Mostre que a seq¨uˆencia {S1, S2, · · · } ´e uma seq¨uˆencia dependente de Markov.
ii. Mostre que as probabilidades de transi¸c˜ao s˜ao dadas a seguir onde α = in−in−1:
p(in, in−1) =
pα
q1−α
para α = 0 ou 1
0
(b) Seja {X1, X2, · · · } uma seq¨uˆencia de vari´aveis aleat´orias discretas independentes.
Seja
Sk =
k
i=1
Xi para k = 1, 2, · · ·
Mostre que {S1, S2, · · · } ´e uma seq¨uˆencia markoviana dependente.

13. RU´INA DO JOGADOR
EXERC´ICIOS PROPOSTOS
(a) Um jogador joga um ”jogo limpo”na qual as chances s˜ao 2 contra 1. Em outras
palavras em cada jogo ele tem 1
3
de probabilidade de ganhar e 2
3
de perder. Se gan-
har, ganhar´a R$2,00. Se perder, perder´a R$1,00. Suponha que os recursos totais
em d´olar do jogador e do seu oponente sejam N d´olares. Se o capital de qualquer
um dos jogadores cair abaixo do ponto em que eles pudessem pagar caso perdessem
o jogo seguinte, o jogo termina. Que Xn representa o caapital do primeiro jogador
ap´os n jogadas.
i. Determine a matriz de transi¸c˜ao de 1 passo da cadeia de Markov {Xn}.
ii. Suponha que os dois jogadores concordem em que se o capital de qualquer um
dos dois cair para R$1,00, eles far˜ao o pr´oximo jogo com chances iguais - gan-
har˜ao ou perder˜ao com igual probabilidade. Determine a matriz de transi¸c˜ao
de 1 passo para esse caso.
Obs: Considere o seguinte experimento:
Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Seja {X1, X2, · · · } uma seq¨uˆencia de vari´aveis aleat´orias
discretas independentes. Seja
Sk =
k
i=1
Xi para k = 1, 2, · · ·
{S1, S2, · · · }
´e uma seq¨uˆencia markoviana dependente que pode modelar um problema de ru´ına
de Jogador Cl´assico onde se ganha R$1,00 e perde R$1,00.

14. (b) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Defina uma nova seq¨uˆencia {Yn}, onde a seq¨uˆencia {Xn},
da seguinte maneira:
Y1 = X1,
Y2 =
X1 + X2
2
,
...
Yn =
X1 + X2 + · · · + Xn
n
.
(c) Identifique a seq¨uˆencia {Yn}. Trata-se de uma seq¨uˆencia independente? Uma
seq¨uˆencia de Markov? Um problema da Ru´ına de Jogador?
EXEMPLOS DE MODELOS N˜AO-MARKOVIANOS
(a) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1
se uma coroa aparecer. Defina uma nova seq¨uˆencia {Zn}, da seguinte maneira:
Z1 = X1,
Z2 =
X1 + X2
2
,
...
Zn+1 =
Xn + Xn+1
2
.
Com n=1, · · · , 49.
(b) Explique porque {Zn} dada acima n˜ao ´e um modelo Markoviano?

15. (c) Numa ilha maravilhosa verificou-se que a cor azul ocorre em borboletas de gen´otipo
aa, e n˜ao ocorre em Aa e AA. Suponha que a propor¸c˜ao de borboletas azuis seja
1
4
. Depois de algumas gera¸c˜oes, qual ser´a a porcentagem das borboletas n˜ao azuis,
mas capazes de ter filhotes azuis?
RESPOSTA:
Denotando por d, dominante, r, recessivo e h, h´ıbrido, e os repectivos cruzamentos
por d × d, d × r, d × h, colocando as probabilidaddes em colunas, podemos montar
a seguinte matriz de transi¸c˜ao:
d × d r × r d × r d × h r × h h × h
d 1 0 0 0,5 0 0,25
h 0 0 1 0,5 0,5 0,5
r 0 1 0 0 0,5 0,25



p
(2)
d
p
(2)
h
p
(2)
r


 =


1 0 0 0, 5 0 0, 25
0 0 1 0, 5 0, 5 0, 5
0 1 0 0 0, 5 0, 25

 ·










p
(1)
d · p
(1)
d
p
(1)
r · p
(1)
r
2 · p
(1)
d · p
(1)
r
2 · p
(1)
d · p
(1)
h
2 · p
(1)
r · p
(1)
h
p
(1)
h · p
(1)
h










=
=


1 0 0 0, 5 0 0, 25
0 0 1 0, 5 0, 5 0, 5
0 1 0 0 0, 5 0, 25

 ·








0, 25 · 0, 25
0, 25 · 0, 25
2 · 0, 25 · 0, 25
2 · 0, 25 · 0, 5
2 · 0, 25 · 0, 5
0, 5 · 0, 5








=


0, 25
0, 5
0, 25


p
(1)
d : porcentagem de indiv´ıduos dominantes.
p
(1)
h : porcentagem de indiv´ıduos hibridos.
p
(1)
r : porcentagem de indiv´ıduos recessivos.
Obs: p
(3)
d = p
(2)
d , p
(3)
h = p
(2)
h , p
(3)
r = p
(2)
r . Isto n˜ao ´e casualidade. Existe uma ”lei
em gen´etica”muito conhecida, que estabelece sob condi¸c˜oes ideais que depois da
segunda gera¸c˜ao, a distribui¸c˜ao entre os gen´otipos permanece a mesma.

16. APLICAC¸ ˜OES DA ´ALGEBRA LINEAR EM CADEIAS DE MARKOV
Frequˆentemente se deseja estudar a cadeia de Markov que tenha estado em funcionamento
h´a alguma tempo, ou seja, investigar sobre o comportamento das probabilidades de estado
n, com n bem grande, isto ´e,
vj = lim
n→∞
p
(n)
j
Neste caso vj recebe o nome de Probabilidade de Estado Permanente. Em termos razo´aveis
pode-se esperar que, ao longo de um grande per´ıodo de tempo, a influˆencia do estado
inicial no qual o processo come¸cou pode esmorecer e, assim, as probabilidades limites vj
podem n˜ao depender do estado inicial. Se for este o caso, ent˜ao vj tamb´em pode ser
interpretado como limite das probabilidades de transi¸c˜ao de n passos pij, vj = lim
n→∞
p
(n)
ij ,
j´a que p
(n)
ij ´e a probabilidade do porcesso estar no estado j ap´os n passos, dado que
inicialmente estava no estado i. Se realmente cada vj n˜ao depende do estado inicial, a
matriz P(n)
= (p
(n)
ij ), convergir´a para uma matriz V conforme n → ∞, e cada linha ser´a
identica ao vetor v, com componetes vj,
P(n)
→ V =





v
v
...
v





,
quando n → ∞, onde v = (v0, v1, . . . , vj, . . .)
Deve-se estar atento ´as algumas perguntas, tais como: os limites que definen vj existem?
Se existitrem, formam uma distribui¸c˜ao de probabilidade? Isto ´e, somam 1, vj = 1?
Como se pode calcular os vj?
se os limites vj = lim
n→∞
p
(n)
ij existem e n˜ao dependem do estado inicial, ent˜ao, fazendo
n → ∞ na identidade
p
(n)
j =
k
p
(n−1)
k pkj
obtem-se
vj =
k
vkpkj, com j = 0, 1, 2, . . .,
ou, equivalentemente,

17. v = v · P
Qualquer vetor x = (x0, x1, x2, . . .), com xi ≥ 0 tal que xi = 1, que satisfa¸ca
xj =
k
xkpkj, com j = 0, 1, 2, . . . ou x = x · P
´e chamado de Vetor de Probabilidade Estacion´aria.
Teorema 1.1. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim
n→∞
p
(n)
j
existem.
Teorema 1.2. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim
n→∞
p
(n)
j = lim
n→∞
p
(n)
ij
n˜ao dependem da distribui¸c˜ao inicial.
Teorema 1.3. Em qualquer cadeia aperi´odica irredut´ıvel e finita de Markov, o vetor
limite v = (v0, v1, v2, . . .) ´e o ´unico vetor da probabilidade estacion´aria do processo.
Este ´ultimo teorema implica que, para ca cadeia aperi´odica, irredut´ıvel e finita de Markov,
a matriz P(n)
= (p
(n)
ij ) tende `a uma matriz que tem todas sua linhas iguais, sendo cada
uma delas id entica ao vetor estacion´ario, ou seja,
lim
n→∞
P(n)
=





v
v
...
v





=





v0 v1 v2 . . .
v0 v1 v2 . . .
...
...
...
...
v0 v1 v2 . . .





Exemplo 1.2. Suponha que um equipamento tanto possa estar ocupado como inoperante,
e que, se estiver inoperante, possa estar parado para reparos, como aguardando mais
trabalho. Indiqueos estados ocupado, em reparo, e aguardando mais trabalho por 0, 1 e 2.
Observe o estado do sistema em uma sequˆencia de dias sucessivos, e suponha que haja
suficiente falta de mem´oriano sistema, de forma que possa ser aproximado por uma cadeia
de Markov com matriz de transi¸c˜ao de 1 passo
P =


p00 p01 p02
p10 p11 p12
p20 p21 p22

 =


0, 8 0, 1 0, 1
0, 1 0, 6 0, 2
0, 6 0 0, 4


Assim, por exemplo, p01 = 0, 1significa que a probabilidade de que uma m´aquina ocu-
pada quebre ´e de 0, 1, p11 = 0, 6 significa que a probabilidade de que uma m´aquina em
reparo hoje ainda esteja em reparo amanh˜a ´e de 0, 6, p21 = 0 significa que uma m´aquina
inoperente n˜ao se quebra.

18. Se estiver interessado nas propor¸c˜oes de tmepo `a longo prazo que o equipamento gasta
em trˆes estados, a distribui¸c˜ao limite dever´a ser calculada. O sistema ´e, claramente,
irredut´ıvel (cada estado por ser alca¸cado partindo de cada outro estado, embora n˜ao
necessariamente em um ´unico passo, pois leva-se, ao menos, 2 passos para ir do estado
2 para o estado 1). ´E tamb´em finito e aperi´odico. De acordo com o teorema 1.3 s´o se
precisa encontrar o ´unico vetor de probabilidade estacion´aria, resolvendo-se x = xP, com
xi = 1. Assim,



x0 = (0, 8)x0 + (0, 2)x1 + (0, 6)x2
x1 = (0, 1)x0 + (0, 6)x1
x2 = (0, 1)x0 + (0, 2)x1 + (0, 4)x2
ou



(0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0
−(0, 1)x0 + (0, 4)x1 = 0
−(0, 1)x0 − (0, 2)x1 + (0, 6)x2 = 0
J´a que a terceira equa¸c˜ao pode ser obtida somando as duas primeiras e multiplicando
por −1, a terceira n˜ao oferece nenhuma informa¸c˜ao adicional, podendo ser eliminada. As
duas primeiras equa¸c˜oes aliadas ao fato de que xi = 1, determinar˜ao a ´unica solu¸c˜ao,
que ser´a do sistema



(0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0
−(0, 1)x0 + (0, 4)x1 = 0
x0 + x1 + x2 = 1
Das duas primeiras equa¸c˜oes do sistemas, verifica-se que x1 =
1
4
x0, x2 =
1
4
x0, e substi-
tuindo na ´ultima equa¸c˜ao, obtem-se
x0 =
2
3
x1 =
1
6
x2 =
1
6
Assim, o vetor da probabilidade limite ´e v =
2
3
,
1
6
,
1
6
, e isso oferece as propor¸c˜oes de
tempo, a longo prazo, que o sistema gasta nestes estados.

19. EXERC´ICIOS RESOLVIDOS
(a) ´E observado que as probabilidades de um time de futebol ganhar, perder e empatar
uma partida depois de conseguir uma vit´oria s˜ao 1
2
, 1
5
e 3
10
respectivamente; e depois
de ser derrotado s˜ao 3
10
, 3
10
e 2
5
, respectivamente; e depois de empatar s˜ao 1
5
, 2
5
e 2
5
,
respectivamente. Se o time n˜ao melhorar nem piorar, conseguir´a mais vit´orias que
derrotas a longo prazo?
RESPOSTA:
G P E
G 0,5 0,3 0,2
P 0,2 0,3 0,4
E 0,3 0,4 0,4
Como a matriz das probabilidades ´e regular, podemos aplicar o teorema (1.5.4)[1]:


0, 5 0, 3 0, 2
0, 2 0, 3 0, 4
0, 3 0, 4 0, 4




pG
pP
pE

 =


pG
pP
pE

 ⇔



−0, 5pG + 0, 3pP + 0, 2pE = 0
0, 2pG − 0, 7pP + 0, 4pE = 0
0, 3pG + 0, 4pP − 0, 6pE = 0
.
Al´em disso, sabemos que pG + pP + pE = 1. Da´ı, pG = 26
79
, pP = 24
79
e pE = 29
79
.

20. (b) Numa cidade industrial, os dados sobre a qualidade do ar s˜ao classificados como
satisfat´orio (S) e insatisfat´orio (I). Assuma que, se um dia ´e registrado S, a prob-
abilidade de se ter S no dia seguinte ´e 2
5
e que, uma vez registrado I, tem-se 1
5
de
probabilidade de ocorrer S no dia seguinte.
i. Qual ´e a probabilidade do quarto dia ser S, se o primeiro dia ´e I?
ii. O que se pode dizer a longo prazo sobre a probabilidade de termos S ou I?
RESPOSTA:
S I
S 0,4 0,2
I 0,6 0,8
Para o item b)Como a matriz das probabilidades ´e regular, podemos aplicar o teo-
rema (1.5.4)[1]:
0, 4 0, 2
0, 6 0, 8
pS
pI
=
pS
pI
⇔
−0, 6pS + 0, 2pI = 0
0, 6pS − 0, 2pI = 0
.
Al´em disso, pS + pI = 1. Da´ı, pS = 1
4
e pI = 3
4
.
Para o item a)
I
4
5
→
I
4
5
→
I
1
5
→
S
I
4
5
→
I
1
5
→
S
2
5
→
S
I
1
5
→
S
3
5
→
I
1
5
→
S
I
1
5
→
S
2
5
→
S
2
5
→
S
Portanto, a probabilidade de ocorrer S no quarto dia tendo ocorrido I no primeiro
dia ´e igual a 16
125
+ 8
125
+ 3
125
+ 4
125
= 31
125
.
O mesmo resultado pode ser obtido calculando o elemento a12 da 3a
potˆencia da
matriz de transi¸c˜ao:
0, 4 0, 2
0, 6 0, 8
·
0, 4 0, 2
0, 6 0, 8
·
0, 4 0, 2
0, 6 0, 8
=
32
125
31
125
93
125
94
125

21. (c) Considere duas companhias de comidas prontas, M e N. Cada ano, a companhia
M conserva 1
3
de seus fregueses, enquanto que 2
3
se transferem para N. Cada ano,
N conserva 1
2
de seus fregueses, enquanto 1
2
transferem-se para M. Suponha que a
distribui¸c˜ao inicial do mercado ´e dada por
X0 =
1
3
2
3
i. Ache a distribui¸c˜ao do mercado ap´os 1 ano.
Um ano mais tarde, a distribui¸c˜ao do mercado ´e
M N
A =
1
3
1
2
2
3
1
2
M
N
X1 = AX0 =
1
3
1
2
2
3
1
2
1
3
2
3
De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este
n´umero n˜ao varia com o tempo. Ao fim do primeiro ano, M mant´em 1
3
de seus
fregueses e ganha 1
2
de N, ou seja, M tem 1
3
· (1
3
k) + 1
2
· (2
3
k) = 4
9
k fregueses e S
tem 2
3
· (1
3
k) + 1
2
· (2
3
k) = 5
9
k fregueses.
ii. Ache a distribui¸c˜ao est´avel do mercado.
Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as
probabilidades pM e pN a longo prazo satisfazem o seguinte sistema linear:
1
3
1
2
2
3
1
2
pM
pN
=
pM
pN
⇔
−4pM + 3pN = 0
4pM − 3pN = 0
Al´em disso, temos que pM + pN = 1. Da´ı, podemos concluir que pM = 3
7
e
pN = 4
7
.

22. (d) Suponha que somente duas companhias rivais, R e S, manufaturam um certo pro-
duto. Cada ano, a companhia R ret´em 1
3
dos seus fregueses, enquanto que 2
3
passam
a ser fregueses de S. Cada ano, S mant´em 3
5
se seus fregueses, enquanto que 2
5
se
transfere para R. Estas informa¸c˜oes podem ser mostradas sob a forma matricial
como
R S
A =
1
3
2
5
2
3
3
5
R
S
Ao se iniciar a manufatura, R tem 2
3
do mercado (o mercado ´e composto pelo
n´umero total de fregueses), enquanto que S tem 1
3
do mercado. Representamos a
distribui¸c˜ao inicial do mercado por
X0 =
2
3
1
3
Um ano mais tarde, a distribui¸c˜ao do mercado ´e
X1 = AX0 =
1
3
2
5
2
3
3
5
2
3
1
3
De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este n´umero
n˜ao varia com o tempo. Ao fim do primeiro ano, R mant´em 1
3
de seus fregue-
ses e ganha 2
5
de S, ou seja, R tem 1
3
· (2
3
k) + 2
5
· (1
3
k) = 16
45
k fregueses e S tem
2
3
· (2
3
k) + 3
5
· (1
3
k) = 29
45
k fregueses.
Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as prob-
abilidades pR e pS a longo prazo satisfazem o seguinte sistema linear:
1
3
2
5
2
3
3
5
pR
pS
=
pR
pS
⇔
−5pR + 3pS = 0
5pR − 3pS = 0
.
Al´em disso, temos que pR + pS = 1. Da´ı, podemos concluir que pR = 3
8
e pS = 5
8
.

23. BIBLIOGRAFIA
(a) BOLDRINE, Jos´e Luiz. COSTA, Suelli I. Rodrigues. FIGUEREDO, Vera
L´ucia. WETZLER, Henry G. ´Algebra Linear. 3a
edi¸c˜ao. Editora: HARBRA
ltda.
(b) CLARKE, A. Bruce. Disney, Ralph L. Traduzido por: Gild´asio Amado Filho.
Probabilidade e Processos Estoc´asticos. -Rio de Janeiro: Livros T´ecnicos e Cient´ıficos,
1979.
(c) FERNANDEZ, Pedro Jesus. Introdu¸c˜ao `a Teoria das Probabilidades. Rio de
Janeiro, Livros T´ecnicos e Cient´ıficos; Bras´ılia, Ed. Universidade de Bras´ılia, 1973.
(d) KOLMAN, Bernard. Traduzido por: Jo˜ao Pitombeira de Carvalho. ´Algebra
Linear. 3a
edi¸c˜ao. Editora: Guanabara.