O documento descreve cadeias de Markov em tempo discreto com estados finitos. Ele define cadeias de Markov e explica como usar matrizes e diagramas de transição para descrever as probabilidades de transição entre estados. Também discute classificações de estados, ergodicidade, e aplicações como modelar riscos de seguros.

1. PESQUISA OPERACIONAL II
Cadeias de Markov em tempo discreto e com estados finitos
Luis Alberto Pargas Carmona
2023-1

2. Definição
Uma cadeia de Markov(*) é um processo estocástico no qual a ocorrência de um estado depende
unicamente do estado imediatamente anterior.
Formalmente, um processo estocástico com um número finito ou contável de valores
𝑋𝑛, 𝑛 = 1,2, 3 … , onde 𝑋𝑛 = 𝑖 indica que o processo está no estado 𝑖 no período 𝑛, é uma
cadeia de Markov se possui a seguinte propriedade:
𝑃𝑖𝑗 = 𝑃 𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖, 𝑋𝑛−1 = 𝑖𝑛−1, … , 𝑋1 = 𝑖1, 𝑋0 = 𝑖0 = 𝑃 𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖
Onde 𝑃𝑖𝑗 representa a probabilidade de transição do estado 𝑖 para o estado 𝑗.
(*) Este material está limitado a cadeias de Markov em tempo discreto e com estados finitos.

3. Matrizes e diagramas de transição
Para descrever as transições em uma cadeia de Markov podemos utilizar a matriz de transição,
que é uma matriz quadrada cujos elementos são as probabilidades 𝑃𝑖𝑗:
𝐏 =
𝑃11 𝑃12 ⋯ 𝑃1𝑁
𝑃21 𝑃22 ⋯ 𝑃2𝑁
⋮ ⋮ ⋱ ⋮
𝑃𝑁1 𝑃𝑁2 ⋯ 𝑃𝑁𝑁
As probabilidade de transição 𝑃𝑖𝑗 são fixas e independentes do tempo.
𝑃𝑖𝑗 = 1, 𝑖 = 1, 2, … , 𝑁
𝑗

4. Matrizes e diagramas de transição
Uma alternativa gráfica para descrever as transições em uma cadeia de Markov é o diagrama de
transição. Na seguinte figura vemos uma matriz de transição com seu diagrama de transição
correspondente:
1 0 0 0 0
3/4 0 1/4 0 0
0 3/4 1/4 0 0
0 0 0 1 0
0 0 4/5 1/5 0
5
2
1
1
3/4 1/4
1/4
3/4
4/5
1/5
3
4
1

5. Matrizes e diagramas de transição
Exemplo: Lances livres (basquete)
Em certas circunstâncias, o jogador de
basquete deve fazer dois lances livres. Com
base na análise dos dados, o treinador
identificou que quando um jogador acerta o
primeiro lance, a probabilidade de acertar o
segundo lance é o triplo da probabilidade de
errar. Também foi identificado que quando
um jogador erra o primeiro lance, a
probabilidade de errar o segundo é quatro
vezes maior que a probabilidade de acertar.
ACERTAR
ACERTAR
ERRAR
3𝑥
𝑥
ERRAR
ACERTAR
ERRAR
𝑥
4𝑥

6. Matrizes e diagramas de transição
ERRAR
ACERTA
R
1/4
3/4 4/5
1/5
3/4 1/4
1/5 4/5
ACERTAR
ERRAR
ACERTAR ERRAR
Matriz de Transição Diagrama de Transição

7. Matrizes e diagramas de transição
A proporção de objetos em cada estado no início do processo, 𝐗(0)
= [𝑋1
0
, 𝑋2
0
, … , 𝑋𝑛
0
], e a
proporção de objetos em cada estado no final do período 𝑛, 𝐗(𝑛)
= [𝑋1
𝑛
, 𝑋2
𝑛
, … , 𝑋𝑁
𝑛
],
estão relacionadas da seguinte forma:
𝐗(1)
= 𝐗(0)
𝐏
𝐗(2)
= 𝐗(1)
𝐏 = 𝐗(0)
𝐏𝐏 = 𝐗(0)
𝐏2
𝐗(3)
= 𝐗(2)
𝐏 = 𝐗(0)
𝐏2
𝐏 = 𝐗(0)
𝐏3
⋮
𝐗(𝑛)
= 𝐗(0)
𝐏𝑛

8. Matrizes e diagramas de transição
A matriz 𝐏 é ergódica se cada 𝑃𝑖𝑗
(𝑛)
tem um limite quando 𝑛 → ∞, ou seja, se existe
lim
𝑛→∞
𝐏𝑛
Uma matriz estocástica é ergódica se, e somente se, tem um único autovalor igual a 1 ou, mesmo
tendo 𝑘 autovalores iguais a 1, tem 𝑘 vetores próprios linearmente independentes associados a
este autovalor.
A matriz estocástica 𝐋 é a matriz limite que define os elementos de 𝐗(∞)
da seguinte forma:
𝐗(∞)
= 𝐗(0)
𝐋
As linhas da matriz 𝐋 são iguais entre elas e seus valores correspondem ao vetor próprio
associado ao autovalor igual a 1.

9. Matrizes e diagramas de transição
Uma matriz estocástica é regular se uma das suas
potências contém somente elementos positivos.
Pode ser demonstrado que uma matriz regular é
ergódica.
Por exemplo, a seguinte matriz 𝐏 é regular (e,
portanto, ergódica) porque todos os elementos de
𝐏2
são positivos:
𝐏 =
0 1
0,3 0,7
𝐏𝟐
=
0,3 0,7
0,21 0,79
Sendo 𝐏 ergódica, podemos calcular 𝐋 da seguinte
maneira:
𝑋1 𝑋2
0 1
0,3 0,7
= 𝑋1 𝑋2
Da expressão anterior temos que
𝑋1 − 0,3𝑋2 = 0
Também sabemos que
𝑋1 + 𝑋2 = 1
Portanto,
𝑋1 𝑋2 = 0,23 0,77
E a matriz limite é:
𝐋 =
0,23 0,77
0,23 0,77

10. Matrizes e diagramas de transição
Considere novamente a seguinte matriz de
transição:
𝐏 =
0 1
0,3 0,7
Podemos calcular as probabilidades de
transição para varios valores de 𝑛:
𝐏𝟐
=
0,3 0,7
0,21 0,79
𝐏𝟒
=
0,237 0,763
0,2289 0,7711
𝐏𝟖
=
0,23082 0,76918
0,230754 0,769246
𝐏𝟏𝟔
=
0,230769 0,769231
0,230769 0,769231
As linhas de 𝐏8
são quase idênticas. O
resultado é mais pronunciado para 𝐏16
.
Podemos observar que quando aumenta o
número de transições, as probabilidades
absolutas convergem a um valor. As
probabilidades resultantes são conhecidas
como probabilidades de estado estacionário
(steady-state probabilities).

11. Classificação de estados
Um estado 𝑗 é absorvente se retorna para ele mesmo com certeza em uma transição, ou seja,
𝑃𝑗𝑗 = 1.
No seguinte diagrama, os estados 1 e 4 são absorventes:
0 1 2 3 4

12. Classificação de estados
Um estado 𝑖 é recorrente se é possível sair de 𝑖 e sempre retornar.
Um estado não recorrente é chamado estado transiente.
No seguinte diagrama, os estados 1, 2 e 3 são transientes.
0 1 2 3 4

13. Classificação de estados
Um estado 𝑗 é periódico com período 𝑡 > 1 se um retorno só é possível em 𝑡, 2𝑡, 3𝑡, … passos.
Isto significa que 𝑃
𝑗𝑗
(𝑛)
= 0 sempre que 𝑛 não seja divisível por 𝑡.
Na seguinte cadeia, todos estados tem período 3. Podemos observar que partindo de qualquer
estado, o retorno acontecerá três períodos depois.
1 2 3
𝐏 =
0 1 0
0 0 1
1 0 0

14. Classificação de estados
Uma cadeia é ergódica quando todos seus estados são recorrentes, não periódicos e se
comunicam entre eles.
A seguinte cadeia NÃO é ergódica porque, por exemplo, os estados 3 e 4 não se comunicam (ou
seja, o estado 4 é alcançado pelo estado 3, mas o estado 3 não é alcançado pelo estado 4).
Um exemplo de cadeia ergódica é o seguinte:
𝐏 =
0 1
0,3 0,7 1 2
1
0,3
0,7
0 1 2 3 4

15. Aplicações
Uma companhia de seguros classifica seus
clientes nas seguintes duas categorias no
momento da renovação da apólice:
• Baixo risco (quando o cliente não teve
acidentes nos últimos 12 meses)
• Alto risco (quando o cliente teve
acidentes nos últimos 12 meses)
Baseado nos dados disponíveis, um
motorista classificado atualmente como “alto
risco” tem 70% de chance de manter essa
classificação no seguinte período e 30% de
mudar a classificação para “baixo risco”.
Da mesma forma, um motorista de “baixo
risco” tem 20% de chance de mudar a
classificação para “alto risco”, e um 80% de
manter a classificação no momento da
renovação.
ALTO RISCO
ALTO RISCO
BAIXO
RISCO
0,7
0,3
BAIXO
RISCO
ALTO RISCO
BAIXO
RISCO
0,2
0,8

16. Aplicações
BAIXO
RISCO
ALTO
RISCO
0,3
0,7 0,8
0,2
0,7 0,3
0,2 0,8
ALTO
RISCO
BAIXO
RISCO
ALTO
RISCO
BAIXO
RISCO
Matriz de Transição Diagrama de Transição

17. Aplicações
Para saber a probabilidade de que um cliente seja classificado como “alto risco” dentro de dois
anos, sabendo que atualmente 75% dos clientes são de baixo risco, podemos fazer a seguinte
soma:
ALTO RISCO
ALTO RISCO
BAIXO
RISCO
0,7
0,3
BAIXO
RISCO
ALTO RISCO
BAIXO
RISCO
0,2
0,8
0,25
0,75
0,25 × 0,7 × 0,7 = 0,1225
ALTO RISCO
BAIXO RISCO
0,7
0,3
ALTO RISCO
BAIXO RISCO
0,2
0,8
ALTO RISCO
BAIXO RISCO
0,7
0,3
ALTO RISCO
BAIXO RISCO
0,2
0,8
0,25 × 0,3 × 0,2 = 0,015
0,75 × 0,2 × 0,7 = 0,105
0,75 × 0,8 × 0,2 = 0,12
0,1225 + 0,015 + 0,105 + 0,12 = 𝟎, 𝟑𝟔𝟐𝟓

18. Aplicações
Da mesma forma, para saber a probabilidade de que um cliente seja classificado como “baixo
risco” dentro de dois anos podemos fazer a seguinte soma:
ALTO RISCO
ALTO RISCO
BAIXO
RISCO
0,7
0,3
BAIXO
RISCO
ALTO RISCO
BAIXO
RISCO
0,2
0,8
0,25
0,75
ALTO RISCO
BAIXO RISCO
0,7
0,3
ALTO RISCO
BAIXO RISCO
0,2
0,8
ALTO RISCO
BAIXO RISCO
0,7
0,3
ALTO RISCO
BAIXO RISCO
0,2
0,8
0,25 × 0,7 × 0,3 = 0,0525
0,25 × 0,3 × 0,8 = 0,06
0,75 × 0,2 × 0,3 = 0,045
0,75 × 0,8 × 0,8 = 0,48
0,0525 + 0,06 + 0,045 + 0,48 = 𝟎, 𝟔𝟑𝟕𝟓

19. Aplicações
Matricialmente:
0,25 0,75
0,7 0,3
0,2 0,8
2
= 0,3625 0,6375
Vetor do estado
inicial
Número de
passos
Matriz de
transição
Probabilidades de
estado
(dois anos depois)

20. Aplicações
Para determinar a distribuição “alto
risco”/”baixo risco” no longo prazo podemos
fazer os seguintes cálculos:
0,25 0,75
0,7 0,3
0,2 0,8
= 0,325 0,675
0,25 0,75
0,7 0,3
0,2 0,8
2
= 0,3625 0,6375
0,25 0,75
0,7 0,3
0,2 0,8
4
= 0,395313 0,604688
0,25 0,75
0,7 0,3
0,2 0,8
8
= 0,399854 0,600146
0,25 0,75
0,7 0,3
0,2 0,8
16
= 0,4 0,6
0,25 0,75
0,7 0,3
0,2 0,8
32
= 0,4 0,6
No longo prazo, 40% dos clientes serão classificados
como “alto risco”, e 60% como “baixo risco”.

21. Aplicações
Também podemos determinar a distribuição “alto risco”/”baixo risco” no longo prazo da
seguinte forma:
𝑋1 𝑋2
0,7 0,3
0,2 0,8
= 𝑋1 𝑋2
Ou seja,
0,3𝑋1 − 0,2𝑋2 = 0
Como sabemos que 𝑋1 + 𝑋2 = 1, então resolvemos e temos que
𝑋1 𝑋2 = 0,4 0,6

22. Aplicações
O PageRank® é um algoritmo desenvolvido pelos fundadores do Google, Larry Page e Sergey
Brin, para posicionar websites entre os resultados de uma busca.
Considere o exemplo ilustrativo e simplificado de uma rede com os websites W1, W2, W3, W4 e
W5, onde as arestas orientadas representam os links. Todos os websites tem, pelo menos, um
link. Por exemplo, no website W3 há três links, e podemos escolher se vamos para os websites
W1, W2 ou W5.
W1
W2
W3
W4
W5
Problema: fazer um ranking com os websites da rede

23. 8.4 Aplicações
A correspondente matriz de transição é:
𝐏 =
0 1 0 0 0
1/2 0 1/2 0 0
1/3 1/3 0 0 1/3
1 0 0 0 0
0 1/2 0 1/2 0
Para 𝑛 = 2:
𝐏𝟐
=
0,5 0 0,5 0 0
0,166667 0,666667 0 0 1,66667
0,166667 0,5 0,166667 0,166667 0
0 1 0 0 0
0,75 0 0,25 0 0
Para 𝑛 = 32
𝐏𝟑𝟐
=
0,3 0,4 0,2 0,033333 0,066667
0,3 0,4 0,2 0,033333 0,066667
0,3 0,4 0,2 0,033333 0,066667
0,3 0,4 0,2 0,033333 0,066667
0,3 0,4 0,2 0,033333 0,066667
Observamos que todas as linhas são iguais e que o vetor de
probabilidades estacionárias é:
[0,3 0,4 0,2 0,033333 0,066667]
Os websites ficariam ordenados da seguinte forma:
W2 – W1 – W3 – W5 – W4

24. Bibliografia recomendada
• Blitzstein, Joseph and Hwang, Jessica. Introduction to Probability. Chapman & Hall, 2019.
• Hillier, Frederick S. and Lieberman, Gerald J. Introduction to Operations Research. McGraw-Hill Education, 2015.
• Taha, Hamdy A. Operations Research: An Introduction. Pearson Education, 2017.
• Ross, S.M. (2020). Introduction to Probability and Statistics for Engineers and Scientists. San Diego, CA: Academic Press. ISBN: 978-0-12-824346-6
• Winston, Wayne L. Operations Research: Applications and Algorithms. Cengage Learning, 2003.