Introdução à cadeias de markov

819 visualizações

Publicada em

Material de apoio - desenvolvido por terceiros - ao curso de Ciências Atuariais

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
819
No SlideShare
0
A partir de incorporações
0
Número de incorporações
28
Ações
Compartilhamentos
0
Downloads
17
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Introdução à cadeias de markov

  1. 1. VI SEMANA DE MATEM´ATICA DA UESC Introdu¸c˜ao `a Cadeias de Markov: Processos Markovianos de parˆametro discreto Autores: Msc. Cl´audia Ribeiro Santana Phd. Enio G. Jelihovschi Msc. Pedro Carlos Elias Ribeiro Junior Ilh´eus - BA Outubro de 2007
  2. 2. Resumo Uma grande quantidade de processos estudados na atualidade, s˜ao resultados que s˜ao medi- dos ao longo do tempo. Dentro destes um grande n´umero tem resultados aleat´orios, ou seja, s˜ao resultados imprevis´ıveis. Estes processos s˜ao chamados de processos estoc´asticos e s˜ao estuda- dos usando a teoria das probabilidades. Como exemplos temos: 1) a varia¸c˜ao de tr´afego em um certo cruzamento que envolvem a forma¸c˜ao e a dissipa¸c˜ao de congestionamentos de ve´ıculos. 2) Quantidade de pessoas que chegam ao longo do dia para fazer transa¸c˜oes banc´arias nos caixas eletrˆonicos dentro de um banco e um problema seria de como encontrar o n´umero de caixas eletrˆonicos para que os clientes passem menos tempo nas filas e n˜ao haja muitos caixas ociosos durante o dia. 3) Ru´ına do jogador; um jogador joga uma seq¨uˆencia de jogos independentes contra um oponente, qual ser´a a probabilidade de um dos jogadores se arruinar se iniciar com um capital N? 4) Muta¸c˜oes gen´eticas; qual ´e a probabilidade de uma muta¸c˜ao desaparecer, continuar numa pequena propor¸c˜ao da popula¸c˜ao, ou tomar conta de toda a popula¸c˜ao depois de um certo per´ıodo de tempo? Um dos modelos que melhor explica uma quantidade importante destes processos, ´e chamado de Cadeias de Markov, que s˜ao processos aleat´orios cujo resultado no est´agio n depende somente do que aconteceu no est´agio n − 1 e n˜ao dos resultados anteriores a n − 1, ou seja, um Processo Markoviano de parˆametro discreto ser´a uma seq¨uˆencia aleat´oria que satisfaz a identidade: Pr(jk | j0, j2,..., jk−1) = Pr[Xk = jk | Xk−1 = jk−1] = p( jk | jk−1) para cada k e para cada seq¨uˆencia j0, j2,..., jk de estados, onde Xk s˜ao vari´aveis aleat´orias que definem o resultado do processo no est´agio k. Sabe-se que uma cadeia aperi´odica, irredut´ıvel, finita de Markov se estaciona, ou seja, entra em um estado permanente e o vetor limite ´e o ´unico vetor de probabilidade estacion´aria do processo. Na verdade este vetor ´e um autovetor associado `a matriz (regular) de probabilidades de transi¸c˜ao do processo, da´ı, o problema iniciado recai na ´algebra linear onde teremos que utilizar as ferramentas desta ´area da matem´atica para encontrar tal autovetor.
  3. 3. Cap´ıtulo 1 Defini¸c˜oes Este cap´ıtulo se dedica a definir alguns conceitos que s˜ao necess´arios para o restante do estudo desejado. Muitas das situa¸c˜oes investigadas no nosso estudo diz respeito `a uma experiˆencia aleat´otia que n˜ao conduz a uma ´unica vari´avel aleta´oria, mas a toda uma seqˆencia de vari´aveis aleat´orias. Sequˆencia de vari´aveis aleat´orias tem uma ampla aplica¸c˜ao em diversos casos, a saber: pedidos comerciais, avarias de m´aquinas, tempo de vida ´util de um componente eletrˆonico, sistemas de comunica¸c˜ao, cintagem de part´ıculas subatˆomicas, epidimias, sistemas gen´eticos, e outros. Qualquer sistema que varie de forma aleat´oria com o tempo e seja observado em determi- nadas sequˆencias de tempos segue este padr˜ao. Defini¸c˜ao 1.1. Uma sequˆencia de vari´aveis aleat´orias definidas no mesmo espa¸co amostral ´e denominada uma Sequˆencia Aleat´oria ou um Processo Aleat´orio de Parˆametro Discreto. Observa¸c˜ao 1.1. O termo Parˆametro Discreto se refere ao ´ındice i na sequˆencia Xi com i = 1, 2, . . . , n, . . . Os contradom´ınios das vari´aveis alat´orias podem ser conjuntos cont´ınuos ou discretos. Nosso caso ´e aquele em que o contradom´ınio ´e um conjunto discreto, que tem grande vairedade de aplica¸c˜oes. Defini¸c˜ao 1.2. Dizemos que as vari´aveis aleat´orias na sequˆencia {X1, X2, . . . , Xn, . . .} sejam Discretas se seus contradom´ınios consistem de conjuntos de elementos Inteiros. Nesta caso pode-se afirmar que a j-´esima vari´avel aleat´oria tem valor m, ou seja Xj = m, ou ent˜ao, diz-se que o sistema est´a no estado m no j-´esimo est´agio, e tamb´em, o sistema est´a no estado m no tempo j. 1
  4. 4. O problema consiste em responder alguns questionamentos sobre a fun¸c˜ao densidade da probabilidade conjunta ou da fun¸c˜ao distribui¸c˜ao de X1, X2, . . . , Xn, ou seja, quanto `a p(i1, i2, . . . , in) = Pr[X1 = i1; X2 = i2; . . . ; Xn = in] ou F(x1, x2, . . . , xn) = Pr[X1 ≤ x1; X2 ≤ x2; . . . ; Xn ≤ xn] quando n ´e um n´umero suficientemente grande, ou investigar sobre tais quest˜oes no caso do limite emq ue n tende ao infinito. Uma forma de de se conhecer tais probabilidades e atrav´es do emprego repetido da f´ormula para a probabilidade da intersec¸c˜ao p(A ∩ B) = p(A) · p(B|A), obtendo que p(i1, i2, . . . , in) = pX1, X2, ..., Xn−1 (i1, i2, . . . , in−1)p(in|i1, i2, . . . , in−1) = . . . ... p(i1, i2, . . . , in) = p (1) i1 p(i2|i1)p(i3|i1, i2) . . . p(in|i1, i2, . . . , in−1), onde p (1) i1 ´e a fun¸c˜ao densidade de X1, ou seja, p (1) i1 = Pr[X1 = i1], e o significado de cada uma das outras probabilidades condicionais ´e natural. Desta forma a equa¸c˜ao anterior se torna Pr[X1 = i1; X2 = i2; . . . ; Xn = in] = Pr[X1 = i1]Pr[X2 = i2|X1 = i1] . . . Pr[Xn = in|X1 = i1; X2 = i2; . . . ; Xn−1 = in−1]
  5. 5. EXEMPLOS 1. Existem trˆes marcas de autom´oveis dispon´ıveis no mercado: o Jacar´e, o Piranha e o Urubu. O termo aij da matriz A abaixo ´e a propabilidade de que um dono de carro da linha i mude para o carro da coluna j, quando comprar um carro novo. De J P U J 0, 7 0, 3 0, 4 Para P 0, 2 0, 5 0, 4 U 0, 1 0, 2 0, 2 Os termos da diagonal de A =   7 10 2 10 1 10 3 10 5 10 2 10 4 10 4 10 2 10  d˜ao a probabilidade aii de se comprar um carro novo da marca. A2 =   59 100 7 25 13 100 11 25 39 100 17 100 12 25 9 25 4 25  . Os termos de A2 , aij, significam mudar da marca i para a marca j depois de duas compras: De fato: a11 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro carro desta mesma marca, ou seja, J, depois de duas compras. J 7 10 → J 7 10 → J J 2 10 → P 3 10 → J J 1 10 → U 4 10 → J Da´ı, a11 = 7 10 · 7 10 + 2 10 · 3 10 + 1 10 · 4 10 = 59 100 . a12 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro carro da marca P depois de duas compras. J 7 10 → J 2 10 → P J 2 10 → P 5 10 → P J 1 10 → U 4 10 → P
  6. 6. Da´ı, a12 = 7 10 · 2 10 + 2 10 · 5 10 + 1 10 · 4 10 = 28 100 . a13 = probabilidade de tendo inicialmente um carro da marca J mudar para um outro carro da marca U depois de duas compras. J 7 10 → J 1 10 → U J 2 10 → P 2 10 → U J 1 10 → U 2 10 → U Da´ı, a13 = 7 10 · 1 10 + 2 10 · 2 10 + 1 10 · 4 10 = 13 100 . a21 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro carro da marca J depois de duas compras. P 3 10 → J 7 10 → J P 5 10 → P 3 10 → J P 2 10 → U 4 10 → J Da´ı, a21 = 3 10 · 7 10 + 5 10 · 3 10 + 2 10 · 4 10 = 44 100 . a22 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro carro desta mesma marca, ou seja, P, depois de duas compras. P 3 10 → J 2 10 → P P 5 10 → P 5 10 → P P 2 10 → U 4 10 → P Da´ı, a22 = 3 10 · 2 10 + 5 10 · 5 10 + 2 10 · 4 10 = 39 100 . a23 = probabilidade de tendo inicialmente um carro da marca P mudar para um outro carro da marca U depois de duas compras.
  7. 7. P 3 10 → J 1 10 → U P 5 10 → P 2 10 → U P 2 10 → U 2 10 → U Da´ı, a23 = 7 10 · 2 10 + 2 10 · 5 10 + 1 10 · 4 10 = 16 100 . a31 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro carro da marca J depois de duas compras. U 4 10 → J 7 10 → J U 4 10 → P 3 10 → J U 2 10 → U 4 10 → J Da´ı, a31 = 4 10 · 7 10 + 4 10 · 3 10 + 2 10 · 4 10 = 48 100 . a32 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro carro da marca P depois de duas compras. U 4 10 → J 2 10 → P U 4 10 → P 5 10 → P U 2 10 → U 4 10 → P Da´ı, a32 = 4 10 · 2 10 + 4 10 · 5 10 + 2 10 · 4 10 = 36 100 . a33 = probabilidade de tendo inicialmente um carro da marca U mudar para um outro carro da marca U depois de duas compras. U 4 10 → J 1 10 → U U 4 10 → P 2 10 → U U 2 10 → U 2 10 → U Da´ı, a33 = 4 10 · 1 10 + 4 10 · 2 10 + 2 10 · 2 10 = 16 100 .
  8. 8. 2. Seja {XN } uma cadeia de Markov com espa¸co dos estados {0, 1, 2}, vetor de probabilidade inicial p(0) = (1 4 , 1 2 , 1 4 ) e matriz de transi¸c˜ao de 1 passo P: P =   1 4 3 4 0 1 3 1 3 1 3 0 1 4 3 4   (a) Calcule p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1]. (b) Mostre que P[X1 = 1 e X2 = 1|X0 = 0] = p01p11. (c) Calcule p (2) 01 , p (3) ij para i, j = 0, 1, 2. RESPOSTAS: (a) p(0, 1, 1) = Pr[X0 = 0, X1 = 1, X2 = 1] = = Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1, X0 = 0] = = Pr[X0 = 0] · [X1 = 1|X0 = 0] · Pr[X2 = 1|X1 = 1] = 1 4 · 3 4 · 1 3 = 1 16 . (b) 0 1 4 → 1 3 4 → 1 Ou seja, P[X1 = 1 e X2 = 1|X0 = 0] = p01p11. (c) Calcule p (2) 01 = a probabilidade de passar do estado 0 ao estado 1 depois de 2 passos. 0 1 4 → 0 3 4 → 1 0 3 4 → 1 1 3 → 1 0 0 → 2 1 4 → 1 Da´ı, p (2) 01 = 1 4 · 3 4 + 3 4 · 1 3 + 0 · 1 4 = 7 16 . O mesmo resultado pode ser obtido calculando o elemento a12 da 2a potˆencia da matriz de transi¸c˜ao:   1 4 3 4 0 1 3 1 3 1 3 0 1 4 3 4   ·   1 4 3 4 0 1 3 1 3 1 3 0 1 4 3 4   =   5 16 7 16 1 4 7 36 4 9 13 36 1 12 13 48 31 48   P(3) =   43 192 85 192 1 3 85 432 83 216 181 432 1 9 181 576 331 576   Os termos p (3) ij s˜ao as entradas da 3a potˆencia da matriz de transi¸c˜ao P.
  9. 9. 3. Um sistema de comunica¸c˜ao tem uma probabilidade tal que, se um s´ımbolo ´e transmitido corretamente, a probabilidade de que o s´ımbolo seguinte seja correto ´e de 0,9. Se, no en- tanto, um s´ımbolo for transmitido incorretamente, a probabilidade de o pr´oximo tamb´em o seja ´e de 0,5. A trasmiss˜ao pode ser modelada pela seq¨uˆencia markoviana dependente, {X1, X2, · · · } onde Xi = 1 se o i-´esimo s´ımbolo for transmitido corretamente, Xi = 0 se o i-´esimo s´ımbolo for incorreto. Suponha que a probabilidade de que o primeiro s´ımbolo seja transmitido corretamente seja de 0,7. (a) Calcule as probabilidades de transmiss˜ao p(in, in−1). (b) Calcule p(i1, i2, · · · , in). (c) Calcule Pr[X3 = 1]. (d) Se o k-´esimo s´ımbolo for correto, Xk = 1, qual a probabilidade de que (k + 2)-´esimo s´ımbolo seja correto, isto ´e, Xk+2 = 1 RESPOSTAS (a) as probabilidades de transmiss˜ao p(in, in−1) s˜ao as entradas da seguinte matriz (de transi¸c˜ao) : A = 9 10 1 10 5 10 5 10 A2 = 43 50 7 50 7 10 3 10 (b) p(i1, i2, · · · , in) = p(i1) · p(i2, i1) · · · p(in, in−1). (c) Pr[X3 = 1] = 7 10 · p11 · p11 + 7 10 · p12 · p21 + 3 10 · p21 · p11 + 3 10 · p22 · p21. (d) Se o k-´esimo s´ımbolo for correto, Xk = 1, a probabilidade de que (k + 2)-´esimo s´ımbolo seja correto, isto ´e, Xk+2 = 1 ´e p (2) 11 = 43 50 .
  10. 10. Defini¸c˜ao 1.3. Uma sequˆencia X1, X2, . . . , Xn ´e dita uma Sequˆencia de Vari´aveis Aleat´orias Independentes se p(in|i1, i2, . . . , in−1) = p (n) in e p(i1, i2, . . . , in) = p (1) i1 p (2) i2 . . . p (n) in Se, al´em disto, todas as vari´aveis aleat´orias tem a mesma fun¸c˜ao distribui¸c˜ao, ou seja, p (j) i = pi, para cada j, a sequˆencia ´e dita Sequˆencia de Vari´aveis Aleat´orias Independentes com Mesma Distribui¸c˜ao. EXEMPLO 4. Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se uma coroa aparecer. Defini¸c˜ao 1.4. A sequˆencia aleat´oria {X1, X2, . . . , Xn} ´e dita Serquˆencia Dependente de Markov, ou um Processo de Markov caso a probabilidade condicional p(in|i1, i2, . . . , in−1) = Pr[Xn = in|X1 = i1, X2 = i2, . . . , Xn−1 = in−1]. Isto significa que p(in|i1, i2, . . . , in−1) = p(in|in−1) ou Pr(Xn = in|X1 = i1, X2 = i2, . . . , Xin−1 = in−1) = Pr[Xn = in|Xn−1 = in−1]. Exemplo 1.1. Considere uma seuqˆencia independente {X1, X2, . . . , Xm, . . .}, onde cada Xi = +1 ou Xi = −1, com probabilidade p e q, respectivamente. Agora defina a sequˆencia Yn = X1 + X2 + . . . + Xn, para n = 1, 2, . . . , e considere a sequˆencia {Y1, Y2, . . . , Ym, . . .},
  11. 11. Se a sequˆencia X representa uma sequˆencia independentede passos da unidade de +1 ou −1no eixo real, ent˜ao Yn representa a posi¸c˜ao depois de n passos. Por esta raz˜ao a sequˆencia {Y1, Y2, . . . , Ym, . . .} ´e chamado de caminho aleat´orio. sta sequˆencia aleat´oria espec´ıfica ´e extremamente importante, tnato teoricamente, como em estudos de ordem pr´atica. O estudo de suas propriedades, e determinadas generaliza¸c˜oes ocupa grande parte da teoria de probabilidade. Aqui s´o se destaca o fato de que a sequˆencia {Y1, Y2, . . . , Ym, . . .} n´ao ´e uma sequˆencia independente, a despeito do fato de ser proveniente de uma sequˆencia independente {X1, X2, . . . , Xm, . . .}. Note que Yn − Yn−1 = Xn =⇒ Yn = Yn−1 + Xn Assim, se Yn−1 for dado, Yn depender´a somente de Xn, que ´e independente de qualquer X‘ e e Y ‘ s anteriores. Desta forma p(in|in−1) = Pr[Yn = in|Yn−1 = in−1] = Pr[Yn−1 + Xn = in|Yn−1 = in−1] = Pr[in−1 + Xn|Yn−1 = in−1] = Pr[Xn = in − in−1] Uma vez que Xn ´e independente de X1, X2, . . . , Xn−1e, consequentemente de Yn−1, seque que p(in|in−1) =    p, se in = in−1 + 1 q, se in = in−1 − 1 0, para qualquer outro valor Assim, observa-se que a sequˆencia tem probabilidade de transi¸c˜ao estacion´aria pij =    p, se j = in−1 + 1 q, se j = in−1 − 1 0, para qualquer outro valor para i, j = 0, ±1, ±2, . . .
  12. 12. EXERC´ICIOS PROPOSTOS (a) Seja {X1, X2, · · · } uma seq¨uˆencia aleat´oria independente onde cada Xi, assume somente os valores 1 e 0 com probabilidades p e q, p + q = 1. Mostre que X1, X2, · · · , Xn tem densidade conjunta p(i1, i2, · · · , ik) = pt qn−t onde t = n k=1 ik. Considere Sk = k i=1 Xi para k = 1, 2, · · · i. Mostre que a seq¨uˆencia {S1, S2, · · · } ´e uma seq¨uˆencia dependente de Markov. ii. Mostre que as probabilidades de transi¸c˜ao s˜ao dadas a seguir onde α = in−in−1: p(in, in−1) = pα q1−α para α = 0 ou 1 0 (b) Seja {X1, X2, · · · } uma seq¨uˆencia de vari´aveis aleat´orias discretas independentes. Seja Sk = k i=1 Xi para k = 1, 2, · · · Mostre que {S1, S2, · · · } ´e uma seq¨uˆencia markoviana dependente.
  13. 13. RU´INA DO JOGADOR EXERC´ICIOS PROPOSTOS (a) Um jogador joga um ”jogo limpo”na qual as chances s˜ao 2 contra 1. Em outras palavras em cada jogo ele tem 1 3 de probabilidade de ganhar e 2 3 de perder. Se gan- har, ganhar´a R$2,00. Se perder, perder´a R$1,00. Suponha que os recursos totais em d´olar do jogador e do seu oponente sejam N d´olares. Se o capital de qualquer um dos jogadores cair abaixo do ponto em que eles pudessem pagar caso perdessem o jogo seguinte, o jogo termina. Que Xn representa o caapital do primeiro jogador ap´os n jogadas. i. Determine a matriz de transi¸c˜ao de 1 passo da cadeia de Markov {Xn}. ii. Suponha que os dois jogadores concordem em que se o capital de qualquer um dos dois cair para R$1,00, eles far˜ao o pr´oximo jogo com chances iguais - gan- har˜ao ou perder˜ao com igual probabilidade. Determine a matriz de transi¸c˜ao de 1 passo para esse caso. Obs: Considere o seguinte experimento: Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se uma coroa aparecer. Seja {X1, X2, · · · } uma seq¨uˆencia de vari´aveis aleat´orias discretas independentes. Seja Sk = k i=1 Xi para k = 1, 2, · · · {S1, S2, · · · } ´e uma seq¨uˆencia markoviana dependente que pode modelar um problema de ru´ına de Jogador Cl´assico onde se ganha R$1,00 e perde R$1,00.
  14. 14. (b) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se uma coroa aparecer. Defina uma nova seq¨uˆencia {Yn}, onde a seq¨uˆencia {Xn}, da seguinte maneira: Y1 = X1, Y2 = X1 + X2 2 , ... Yn = X1 + X2 + · · · + Xn n . (c) Identifique a seq¨uˆencia {Yn}. Trata-se de uma seq¨uˆencia independente? Uma seq¨uˆencia de Markov? Um problema da Ru´ına de Jogador? EXEMPLOS DE MODELOS N˜AO-MARKOVIANOS (a) Arremessa-se uma moeda 50 vezes e seja Xn = −1 se uma cara aparecer e Xn = +1 se uma coroa aparecer. Defina uma nova seq¨uˆencia {Zn}, da seguinte maneira: Z1 = X1, Z2 = X1 + X2 2 , ... Zn+1 = Xn + Xn+1 2 . Com n=1, · · · , 49. (b) Explique porque {Zn} dada acima n˜ao ´e um modelo Markoviano?
  15. 15. (c) Numa ilha maravilhosa verificou-se que a cor azul ocorre em borboletas de gen´otipo aa, e n˜ao ocorre em Aa e AA. Suponha que a propor¸c˜ao de borboletas azuis seja 1 4 . Depois de algumas gera¸c˜oes, qual ser´a a porcentagem das borboletas n˜ao azuis, mas capazes de ter filhotes azuis? RESPOSTA: Denotando por d, dominante, r, recessivo e h, h´ıbrido, e os repectivos cruzamentos por d × d, d × r, d × h, colocando as probabilidaddes em colunas, podemos montar a seguinte matriz de transi¸c˜ao: d × d r × r d × r d × h r × h h × h d 1 0 0 0,5 0 0,25 h 0 0 1 0,5 0,5 0,5 r 0 1 0 0 0,5 0,25    p (2) d p (2) h p (2) r    =   1 0 0 0, 5 0 0, 25 0 0 1 0, 5 0, 5 0, 5 0 1 0 0 0, 5 0, 25   ·           p (1) d · p (1) d p (1) r · p (1) r 2 · p (1) d · p (1) r 2 · p (1) d · p (1) h 2 · p (1) r · p (1) h p (1) h · p (1) h           = =   1 0 0 0, 5 0 0, 25 0 0 1 0, 5 0, 5 0, 5 0 1 0 0 0, 5 0, 25   ·         0, 25 · 0, 25 0, 25 · 0, 25 2 · 0, 25 · 0, 25 2 · 0, 25 · 0, 5 2 · 0, 25 · 0, 5 0, 5 · 0, 5         =   0, 25 0, 5 0, 25   p (1) d : porcentagem de indiv´ıduos dominantes. p (1) h : porcentagem de indiv´ıduos hibridos. p (1) r : porcentagem de indiv´ıduos recessivos. Obs: p (3) d = p (2) d , p (3) h = p (2) h , p (3) r = p (2) r . Isto n˜ao ´e casualidade. Existe uma ”lei em gen´etica”muito conhecida, que estabelece sob condi¸c˜oes ideais que depois da segunda gera¸c˜ao, a distribui¸c˜ao entre os gen´otipos permanece a mesma.
  16. 16. APLICAC¸ ˜OES DA ´ALGEBRA LINEAR EM CADEIAS DE MARKOV Frequˆentemente se deseja estudar a cadeia de Markov que tenha estado em funcionamento h´a alguma tempo, ou seja, investigar sobre o comportamento das probabilidades de estado n, com n bem grande, isto ´e, vj = lim n→∞ p (n) j Neste caso vj recebe o nome de Probabilidade de Estado Permanente. Em termos razo´aveis pode-se esperar que, ao longo de um grande per´ıodo de tempo, a influˆencia do estado inicial no qual o processo come¸cou pode esmorecer e, assim, as probabilidades limites vj podem n˜ao depender do estado inicial. Se for este o caso, ent˜ao vj tamb´em pode ser interpretado como limite das probabilidades de transi¸c˜ao de n passos pij, vj = lim n→∞ p (n) ij , j´a que p (n) ij ´e a probabilidade do porcesso estar no estado j ap´os n passos, dado que inicialmente estava no estado i. Se realmente cada vj n˜ao depende do estado inicial, a matriz P(n) = (p (n) ij ), convergir´a para uma matriz V conforme n → ∞, e cada linha ser´a identica ao vetor v, com componetes vj, P(n) → V =      v v ... v      , quando n → ∞, onde v = (v0, v1, . . . , vj, . . .) Deve-se estar atento ´as algumas perguntas, tais como: os limites que definen vj existem? Se existitrem, formam uma distribui¸c˜ao de probabilidade? Isto ´e, somam 1, vj = 1? Como se pode calcular os vj? se os limites vj = lim n→∞ p (n) ij existem e n˜ao dependem do estado inicial, ent˜ao, fazendo n → ∞ na identidade p (n) j = k p (n−1) k pkj obtem-se vj = k vkpkj, com j = 0, 1, 2, . . ., ou, equivalentemente,
  17. 17. v = v · P Qualquer vetor x = (x0, x1, x2, . . .), com xi ≥ 0 tal que xi = 1, que satisfa¸ca xj = k xkpkj, com j = 0, 1, 2, . . . ou x = x · P ´e chamado de Vetor de Probabilidade Estacion´aria. Teorema 1.1. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim n→∞ p (n) j existem. Teorema 1.2. Em qualquer cadeia aperi´odica de Markov todos os limites vj = lim n→∞ p (n) j = lim n→∞ p (n) ij n˜ao dependem da distribui¸c˜ao inicial. Teorema 1.3. Em qualquer cadeia aperi´odica irredut´ıvel e finita de Markov, o vetor limite v = (v0, v1, v2, . . .) ´e o ´unico vetor da probabilidade estacion´aria do processo. Este ´ultimo teorema implica que, para ca cadeia aperi´odica, irredut´ıvel e finita de Markov, a matriz P(n) = (p (n) ij ) tende `a uma matriz que tem todas sua linhas iguais, sendo cada uma delas id entica ao vetor estacion´ario, ou seja, lim n→∞ P(n) =      v v ... v      =      v0 v1 v2 . . . v0 v1 v2 . . . ... ... ... ... v0 v1 v2 . . .      Exemplo 1.2. Suponha que um equipamento tanto possa estar ocupado como inoperante, e que, se estiver inoperante, possa estar parado para reparos, como aguardando mais trabalho. Indiqueos estados ocupado, em reparo, e aguardando mais trabalho por 0, 1 e 2. Observe o estado do sistema em uma sequˆencia de dias sucessivos, e suponha que haja suficiente falta de mem´oriano sistema, de forma que possa ser aproximado por uma cadeia de Markov com matriz de transi¸c˜ao de 1 passo P =   p00 p01 p02 p10 p11 p12 p20 p21 p22   =   0, 8 0, 1 0, 1 0, 1 0, 6 0, 2 0, 6 0 0, 4   Assim, por exemplo, p01 = 0, 1significa que a probabilidade de que uma m´aquina ocu- pada quebre ´e de 0, 1, p11 = 0, 6 significa que a probabilidade de que uma m´aquina em reparo hoje ainda esteja em reparo amanh˜a ´e de 0, 6, p21 = 0 significa que uma m´aquina inoperente n˜ao se quebra.
  18. 18. Se estiver interessado nas propor¸c˜oes de tmepo `a longo prazo que o equipamento gasta em trˆes estados, a distribui¸c˜ao limite dever´a ser calculada. O sistema ´e, claramente, irredut´ıvel (cada estado por ser alca¸cado partindo de cada outro estado, embora n˜ao necessariamente em um ´unico passo, pois leva-se, ao menos, 2 passos para ir do estado 2 para o estado 1). ´E tamb´em finito e aperi´odico. De acordo com o teorema 1.3 s´o se precisa encontrar o ´unico vetor de probabilidade estacion´aria, resolvendo-se x = xP, com xi = 1. Assim,    x0 = (0, 8)x0 + (0, 2)x1 + (0, 6)x2 x1 = (0, 1)x0 + (0, 6)x1 x2 = (0, 1)x0 + (0, 2)x1 + (0, 4)x2 ou    (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0 −(0, 1)x0 + (0, 4)x1 = 0 −(0, 1)x0 − (0, 2)x1 + (0, 6)x2 = 0 J´a que a terceira equa¸c˜ao pode ser obtida somando as duas primeiras e multiplicando por −1, a terceira n˜ao oferece nenhuma informa¸c˜ao adicional, podendo ser eliminada. As duas primeiras equa¸c˜oes aliadas ao fato de que xi = 1, determinar˜ao a ´unica solu¸c˜ao, que ser´a do sistema    (0, 2)x0 − (0, 2)x1 − (0, 6)x2 = 0 −(0, 1)x0 + (0, 4)x1 = 0 x0 + x1 + x2 = 1 Das duas primeiras equa¸c˜oes do sistemas, verifica-se que x1 = 1 4 x0, x2 = 1 4 x0, e substi- tuindo na ´ultima equa¸c˜ao, obtem-se x0 = 2 3 x1 = 1 6 x2 = 1 6 Assim, o vetor da probabilidade limite ´e v = 2 3 , 1 6 , 1 6 , e isso oferece as propor¸c˜oes de tempo, a longo prazo, que o sistema gasta nestes estados.
  19. 19. EXERC´ICIOS RESOLVIDOS (a) ´E observado que as probabilidades de um time de futebol ganhar, perder e empatar uma partida depois de conseguir uma vit´oria s˜ao 1 2 , 1 5 e 3 10 respectivamente; e depois de ser derrotado s˜ao 3 10 , 3 10 e 2 5 , respectivamente; e depois de empatar s˜ao 1 5 , 2 5 e 2 5 , respectivamente. Se o time n˜ao melhorar nem piorar, conseguir´a mais vit´orias que derrotas a longo prazo? RESPOSTA: G P E G 0,5 0,3 0,2 P 0,2 0,3 0,4 E 0,3 0,4 0,4 Como a matriz das probabilidades ´e regular, podemos aplicar o teorema (1.5.4)[1]:   0, 5 0, 3 0, 2 0, 2 0, 3 0, 4 0, 3 0, 4 0, 4     pG pP pE   =   pG pP pE   ⇔    −0, 5pG + 0, 3pP + 0, 2pE = 0 0, 2pG − 0, 7pP + 0, 4pE = 0 0, 3pG + 0, 4pP − 0, 6pE = 0 . Al´em disso, sabemos que pG + pP + pE = 1. Da´ı, pG = 26 79 , pP = 24 79 e pE = 29 79 .
  20. 20. (b) Numa cidade industrial, os dados sobre a qualidade do ar s˜ao classificados como satisfat´orio (S) e insatisfat´orio (I). Assuma que, se um dia ´e registrado S, a prob- abilidade de se ter S no dia seguinte ´e 2 5 e que, uma vez registrado I, tem-se 1 5 de probabilidade de ocorrer S no dia seguinte. i. Qual ´e a probabilidade do quarto dia ser S, se o primeiro dia ´e I? ii. O que se pode dizer a longo prazo sobre a probabilidade de termos S ou I? RESPOSTA: S I S 0,4 0,2 I 0,6 0,8 Para o item b)Como a matriz das probabilidades ´e regular, podemos aplicar o teo- rema (1.5.4)[1]: 0, 4 0, 2 0, 6 0, 8 pS pI = pS pI ⇔ −0, 6pS + 0, 2pI = 0 0, 6pS − 0, 2pI = 0 . Al´em disso, pS + pI = 1. Da´ı, pS = 1 4 e pI = 3 4 . Para o item a) I 4 5 → I 4 5 → I 1 5 → S I 4 5 → I 1 5 → S 2 5 → S I 1 5 → S 3 5 → I 1 5 → S I 1 5 → S 2 5 → S 2 5 → S Portanto, a probabilidade de ocorrer S no quarto dia tendo ocorrido I no primeiro dia ´e igual a 16 125 + 8 125 + 3 125 + 4 125 = 31 125 . O mesmo resultado pode ser obtido calculando o elemento a12 da 3a potˆencia da matriz de transi¸c˜ao: 0, 4 0, 2 0, 6 0, 8 · 0, 4 0, 2 0, 6 0, 8 · 0, 4 0, 2 0, 6 0, 8 = 32 125 31 125 93 125 94 125
  21. 21. (c) Considere duas companhias de comidas prontas, M e N. Cada ano, a companhia M conserva 1 3 de seus fregueses, enquanto que 2 3 se transferem para N. Cada ano, N conserva 1 2 de seus fregueses, enquanto 1 2 transferem-se para M. Suponha que a distribui¸c˜ao inicial do mercado ´e dada por X0 = 1 3 2 3 i. Ache a distribui¸c˜ao do mercado ap´os 1 ano. Um ano mais tarde, a distribui¸c˜ao do mercado ´e M N A = 1 3 1 2 2 3 1 2 M N X1 = AX0 = 1 3 1 2 2 3 1 2 1 3 2 3 De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este n´umero n˜ao varia com o tempo. Ao fim do primeiro ano, M mant´em 1 3 de seus fregueses e ganha 1 2 de N, ou seja, M tem 1 3 · (1 3 k) + 1 2 · (2 3 k) = 4 9 k fregueses e S tem 2 3 · (1 3 k) + 1 2 · (2 3 k) = 5 9 k fregueses. ii. Ache a distribui¸c˜ao est´avel do mercado. Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as probabilidades pM e pN a longo prazo satisfazem o seguinte sistema linear: 1 3 1 2 2 3 1 2 pM pN = pM pN ⇔ −4pM + 3pN = 0 4pM − 3pN = 0 Al´em disso, temos que pM + pN = 1. Da´ı, podemos concluir que pM = 3 7 e pN = 4 7 .
  22. 22. (d) Suponha que somente duas companhias rivais, R e S, manufaturam um certo pro- duto. Cada ano, a companhia R ret´em 1 3 dos seus fregueses, enquanto que 2 3 passam a ser fregueses de S. Cada ano, S mant´em 3 5 se seus fregueses, enquanto que 2 5 se transfere para R. Estas informa¸c˜oes podem ser mostradas sob a forma matricial como R S A = 1 3 2 5 2 3 3 5 R S Ao se iniciar a manufatura, R tem 2 3 do mercado (o mercado ´e composto pelo n´umero total de fregueses), enquanto que S tem 1 3 do mercado. Representamos a distribui¸c˜ao inicial do mercado por X0 = 2 3 1 3 Um ano mais tarde, a distribui¸c˜ao do mercado ´e X1 = AX0 = 1 3 2 5 2 3 3 5 2 3 1 3 De fato, suponhamos que o mercado inicial consiste em k pessoas, e que este n´umero n˜ao varia com o tempo. Ao fim do primeiro ano, R mant´em 1 3 de seus fregue- ses e ganha 2 5 de S, ou seja, R tem 1 3 · (2 3 k) + 2 5 · (1 3 k) = 16 45 k fregueses e S tem 2 3 · (2 3 k) + 3 5 · (1 3 k) = 29 45 k fregueses. Como a matriz A ´e regular, segue pelo teorema da Cadeia de Markov que as prob- abilidades pR e pS a longo prazo satisfazem o seguinte sistema linear: 1 3 2 5 2 3 3 5 pR pS = pR pS ⇔ −5pR + 3pS = 0 5pR − 3pS = 0 . Al´em disso, temos que pR + pS = 1. Da´ı, podemos concluir que pR = 3 8 e pS = 5 8 .
  23. 23. BIBLIOGRAFIA (a) BOLDRINE, Jos´e Luiz. COSTA, Suelli I. Rodrigues. FIGUEREDO, Vera L´ucia. WETZLER, Henry G. ´Algebra Linear. 3a edi¸c˜ao. Editora: HARBRA ltda. (b) CLARKE, A. Bruce. Disney, Ralph L. Traduzido por: Gild´asio Amado Filho. Probabilidade e Processos Estoc´asticos. -Rio de Janeiro: Livros T´ecnicos e Cient´ıficos, 1979. (c) FERNANDEZ, Pedro Jesus. Introdu¸c˜ao `a Teoria das Probabilidades. Rio de Janeiro, Livros T´ecnicos e Cient´ıficos; Bras´ılia, Ed. Universidade de Bras´ılia, 1973. (d) KOLMAN, Bernard. Traduzido por: Jo˜ao Pitombeira de Carvalho. ´Algebra Linear. 3a edi¸c˜ao. Editora: Guanabara.

×