1) O documento discute cadeias de Markov em tempo contínuo, que são processos estocásticos onde a probabilidade de transição entre estados depende apenas do estado atual, não do histórico. 2) Uma matriz de transição descreve as probabilidades de transição entre pares de estados. 3) Os tempos de ocupação de cada estado seguem distribuições exponenciais.
2. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Introdução
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Qualquer sistema real opera sempre em ambientes onde a incerteza impera,
principalmente quando o sistema envolve, pela sua natureza, acções humanas
imprevisíveis ou avarias de máquinas.
Assim, recorre-se a Processos Estocásticos como uma forma de tratar
quantitativamente estes fenómenos, aproveitando certas características de
regularidade que eles apresentam para serem descritos por modelos
probabilísticos.
O conceito matemático dos processos estocásticos tem-se revelado adequado
para descrever alguns fenómenos físicos, e não só, ou seja, fenómeno que
varia em algum grau, de forma imprevisível, aleatória, à medida que o tempo
passa .
3. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Conceito Estocástico
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Processo Estocástico, 𝑿 𝒕 : é um modelo matemático utilizado para o estudo
de fenómenos aleatórios que têm como resultados funções em função de
tempo. Função aleatória do tempo para modelar formas de onda
desconhecidas
Função amostra x 𝒕, 𝒔 : Função do tempo associada com o resultado 𝒔 de um
experimento.
Ensemble: Conjunto de todas as possíveis funções do tempo que podem
resultar de um experimento.
4. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
O processo de Markov (Andrei Andrevevich Markov) é um exemplo de um
processo estocástico em que a probabilidade de um sistema estar num estado
𝑖 num período 𝑛 + 1, depende do estado em que estava no período 𝑛.
Um processo aleatório 𝑋 𝑡 é um processo de Markov (ou Memoryless process
“processo sem memória”) se o futuro, dado o presente, é independente do
passado, isto é, para instantes arbitrários 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1,
𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡 𝑛−1 = 𝑥 𝑛−1, … , 𝑋 𝑡1 = 𝑥1
= 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛 se 𝑋 𝑡 assume valores contínuos.
Se as amostras de 𝑋 𝑡 são conjuntamente contínuas, então a equação
anterior é equivalente a:
𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛, … , 𝑋 𝑡1 = 𝑥1 = 𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 .
5. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Um processo de Markov que assume somente valores inteiros é chamado de
Cadeia de Markov.
A fmp (Função Massa de Probabilidade) conjunta para 𝑘 + 1 instantes de
tempo arbitrários de uma cadeia de Markov é dada pela equação seguinte
independentemente de ser ou não de tempo continuo:
𝑃 𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1, 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡1 = 𝑥1 = 𝑃ሾ
ሿ
ȁ𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1 𝑋 𝑡 𝑛 =
𝑥 𝑛 …𝑃 ȁ𝑋 𝑡2 = 𝑥2 𝑋 𝑡1 = 𝑥1 𝑃 𝑋 𝑡1 = 𝑥1 .
6. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma Cadeia de Markov em Tempo Contínuo é, como a designação indica,
uma cadeia de Markov em que a variável tempo é contínua, representando
instantes ou momentos do tempo (e não períodos no tempo como no ponto
anterior).
Assim, uma cadeia de Markov em tempo contínuo é um processo
estocástico 𝑋 𝑡 , 𝑡 > 0 com a propriedade de Markov, ou seja, a
probabilidade de o processo estar no estado 𝑗 num momento futuro depende
apenas do estado presente e não dos estados visitados em qualquer momento
passado.
Um processo estocástico 𝑋 𝑡 forma uma Cadeia de Markov de Tempo
Contínuo se, para todo inteiro n e qualquer sequência 𝑡1, 𝑡2, … , 𝑡 𝑛, 𝑡 𝑛+1
7. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Probabilidade de Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
tal que 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, tem-se,
𝑃 ȁ𝑋 𝑡 𝑛+1 = 𝑖 𝑛+1 𝑋 𝑡1 = 𝑖1, 𝑋 𝑡2 = 𝑖2, … , 𝑋 𝑡 𝑛 = 𝑖 𝑛
= 𝑷 ȁ𝑿 𝒕 𝒏+𝟏 = 𝒊 𝒏+𝟏 𝑿 𝒕 𝒏 = 𝒊 𝒏
A equação da cadeia de Markov, requer que saibamos as probabilidades de transição
no intervalo entre um instante de tempo arbitrário 𝑠 e outro instante de tempo arbitrário
𝑠 + 𝑡:
𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , t ≥ 0
Se as probabilidades de transição dependem somente da diferença entre os dois
instantes de tempo:
𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 = 𝑃 ȁ𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 = 𝑝𝑖𝑗, t ≥ 0, ∀𝑠.
Dizemos que 𝑋 𝑡 tem probabilidades de transição homogéneas.
8. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Probabilidade de
Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema da probabilidades de transição. Seja P 𝑡 = 𝑝𝑖𝑗 𝑡 a matriz de
probabilidades de transição em um intervalo de comprimento 𝑡. Desde que
𝑝𝑖𝑖 0 = 1 e 𝑝𝑖𝑗 0 = 0 para 𝑖 ≠ 𝑗, temos: onde 𝑰 é a matriz.𝐏 𝟎 = 𝑰
Cadeias Homogéneas:
• probabilidade de transição não depende nem da sequência de estados e nem
do intervalo; depende apenas do tamanho do intervalo:
𝒑𝒊𝒋 𝒕 ≜ 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 = 𝒑𝒊𝒋 0, 𝑡
Cadeias Não Homogéneas:
• probabilidade de transição não depende da sequência de estados mas
depende do intervalo em si (i.e., depende dos instantes inicial e final).
𝒑𝒊𝒋 𝒔, 𝒕 ≜ 𝑷 ȁ𝑿 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , 𝑡 ≥ 𝑠
9. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Consideremos um vector-probabilidade num processo estocástico que é
denotado por 𝑋 𝑡 = 𝑥1 𝑡 𝑥2 𝑡 𝑥3 𝑡 𝑥 𝑛 𝑡 em que 𝑥𝑖 𝑡 é a
probabilidade com que o sistema esteja no estado 𝑖 no instante 𝑡, para 𝑖 =
1,2,3, … , 𝑛. Vale lembrar que σ𝑖=1
𝑛
𝑥𝑖 𝑡 = 1.
Uma Matriz de Transição é uma matriz quadrada de ordem 𝑷 𝒏𝐱𝒏 = 𝒑𝒊𝒋 onde
cada 𝑝𝑖𝑗 é a probabilidade de que haja uma transição do estado i para o estado
j.
A probabilidade de 𝑋 𝑛+1 estar no estado 𝑗 dado que 𝑋 𝑛 está no estado 𝑖 é
chamada probabilidade de transição de um passo e é denotada por:
𝑃𝑖𝑗
𝑛,𝑛+1
10. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Isto é: 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃 𝑋 𝑛+1 = 𝑗ȁ 𝑋 𝑛 = 𝑖
Esta notação enfatiza que, em geral, as probabilidades de transição são
funções não somente dos estados inicial e final, mas também do tempo de
transição.
Quando as probabilidades de transição em um passo são independentes
da variável do tempo 𝒏 , dizemos que a Cadeia de Markov tem
probabilidades de transição estacionárias.
Então 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃𝑖𝑗 é independente de 𝑛 e 𝑃𝑖𝑗 é a probabilidade condicional que
o valor do estado transite de 𝑖 a 𝑗 em uma tentativa.
Pode-se visualizar as quantidades 𝑃𝑖𝑗 de forma matricial:
11. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A análise de uma Cadeia de Markov caracteriza-se principalmente pelo cálculo
das probabilidades de transições em 𝑛 passos.
São as matrizes de probabilidades de transição em 𝑛 passos,
P(𝑛) = 𝑃𝑖𝑗
(𝑛)
onde 𝑃𝑖𝑗
(𝑛)
denota a probabilidade que o processo vá do estado 𝑖 para o
estado 𝑗 em 𝑛 transições.
Formalmente, 𝑃𝑖𝑗
(𝑛)
= 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 .
𝑃00 𝑃01
𝑃10 𝑃11
⋯ 𝑃0𝑗
⋯ 𝑃1𝑗
⋮ ⋮
𝑃𝑖0 𝑃𝑖1
⋱ ⋮
⋯ 𝑃𝑖𝑗
E chamamos 𝐏 = 𝑷𝒊𝒋 Matriz de Markov ou
Matriz de Probabilidades de Transição.
12. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Tempos de ocupação de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema das Potências da Matriz de Transição: Seja 𝑃 a matriz de transição de um
processo em cadeia de Markov, a matriz de transição para 𝑛 estágios e igual a 𝑛-ésima
potência de 𝑃: 𝑃(𝑛) = 𝑃 ∗ 𝑃 ∗ 𝑃 ∗ ⋯ ∗ 𝑃 = 𝑃 𝑛
Propriedade do tempo de ocupação de estados: Um processo aleatório, em
que num dado tempo, o sistema 𝑋(𝑡) permanece em um dado valor (estado)
para cada intervalo de tempo aleatório exponencialmente distribuído.
O processo permanece no estado 𝑖 entre os instantes 0 e 𝑡 se e só se o tempo
de permanência no estado 𝑖 for superior a 𝑡, ou seja, P 𝑋 𝑡 = 𝑖ȁ 𝑋 0 = 𝑖 =
P 𝜏𝑖 > 𝑡ȁ 𝜏𝑖 > 0 = P 𝜏𝑖 > 𝑡
Por outro lado, o sistema permanece no estado 𝑖 entre os instantes 𝑠 e 𝑡 + 𝑠
se e só se o tempo necessário para que o sistema saia do estado 𝑖 for superior
13. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
a 𝑡 + 𝑠 , dado que o tempo de permanência no estado 𝑖 era superior a 𝑠, ou
seja, P 𝑋 𝑡 + 𝑠 = 𝑖ȁ 𝑋 𝑠 = 𝑖 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 .
Suponha agora que o processo já tenha estado no estado 𝑖 por 𝑠 segundos;
então a probabilidade de gastar mais 𝑡 segundos neste estado é:
P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝑋 𝑠, > 𝑖, 0 ≤ 𝑠, ≤ 𝑠
desde que 𝜏𝑖 > 𝑠 implica que o sistema tem estado no estado 𝑖 durante o
intervalo de tempo 0, 𝑠 .
Por outras palavras, a distribuição da variável aleatória “tempo de permanência
num dado estado” é independente do tempo que o processo tenha já passado
nesse estado (propriedade da ausência de memória).
14. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Como a única distribuição contínua que goza desta propriedade é a distribuição
exponencial, concluímos que 𝜏𝑖 tem distribuição exponencial.
O tempo gasto no estado 𝒊 é uma variável aleatória exponencial com alguma média Τ𝟏
𝒗 𝒊:
P 𝜏𝑖 > 𝑡 = 𝑒 𝒗 𝒊 𝑡
O tempo médio de ocupação de estado Τ𝟏
𝒗 𝒊 irá geralmente ser diferente
para cada estado, também igual ao desvio padrão, e a variância ൗ𝟏
𝒗 𝒊
𝟐 .
O resultado acima nos dá uma outra maneira de olhar para cadeias de Markov
de tempo contínuo.
15. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A cada vez que um estado 𝑖 é alcançado, selecciona-se um tempo de
ocupação de estado 𝑇𝑖 exponencialmente distribuído.
Quando o tempo se esgota, o próximo estado 𝑗 é seleccionado de acordo com
uma cadeia de Markov de tempo discreto, com probabilidades de transição 𝑞𝑖𝑗 .
Então o novo tempo de ocupação de estado é seleccionado de acordo com 𝑇𝑗 ,
e assim por diante. Chamamos 𝑞𝑖𝑗 de uma cadeia de Markov embutida.
A distribuição exponencial goza de duas propriedades importantes:
✓ Ausência de memória, segundo a qual P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡
✓ Se a variável aleatória 𝜏 𝑚𝑖𝑛 for o mínimo de diferentes variáveis aleatórias
independentes 𝜏𝑖, 𝜏2, 𝜏3, … , 𝜏 𝑛 , cada um com distribuição
exponencial de parâmetro 𝑣𝑖 ( 𝑖 = 1,2, … , 𝑛 ), então 𝜏 𝑚𝑖𝑛 tem também
distribuição exponencial, sendo o parâmetro dado por: 𝒗 = σ 𝒗𝒊
.
16. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Existem duas formas de representação: graficamente, através do “diagrama de
transições”, ou através de uma matriz quadrada 𝑃 que contem as taxas de
transição.
Num diagrama de transições cada estado é representado por um vértice, e
cada arco orientado ligando dois vértices representa uma transição possível
entre dois estados, sendo o coeficiente associado ao arco a respectiva taxa.
17. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Na matriz 𝑃, cada linha 𝑖 representa o estado actual e cada coluna j representa
o estado futuro (a ordem dos estados actuais deve ser igual à dos estados
futuros, respectivamente, nas linhas e nas colunas de 𝑃). Deste modo, o
elemento 𝑣𝑖𝑗 da matriz representa a taxa de transição do estado 𝑖 para o
estado 𝑗.
As taxas de transição 𝑣𝑖𝑗 são dadas por 𝑣𝑖𝑗 = 𝑣𝑖 𝑝𝑖𝑗 𝑖 ≠ 𝑗 , e portanto verifica-
se que σ 𝑗≠𝑖 𝑣𝑖𝑗 = 𝑣𝑖 σ 𝑗≠𝑖 𝑝𝑖𝑗 = 𝑣𝑖
18. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Taxa de transição e
Probabilidade de estados dependente
do tempo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A probabilidade de o processo permanecer no estado 𝑖 durante o intervalo
(bastante curto) é 𝑃 𝜏𝑖 > 𝛿 = 𝑒 𝑣𝑖 𝛿 = 1 − 𝑣𝑖 𝛿 + 𝑜(𝛿) onde 𝑜(𝛿) denota os
termos que se tornam desprezíveis em relação à medida que 𝛿 → 0.
Uma vez que o processo deixa o estado 𝑖, ele entra no estado 𝑗 com
probabilidade 𝑝𝑖𝑗 𝛿 = 𝛾𝑖𝑗 𝛿 − 𝑜(𝛿), onde 𝛾𝑖𝑗 = 𝑣𝑖 𝑞𝑖𝑗 a taxa na qual o processo
𝑋(𝑡) entra no estado 𝑗 partindo do estado 𝑖 e 𝑣𝑖 é a taxa de saída do estado 𝑖.
Equação de Chapman-Kolmogorov para cadeias de Markov de tempo
contínuo. 𝒑′𝒋 𝒕 = σ𝒊 𝜸𝒊𝒋 𝒑𝒊 𝒕 .
Se resolvemos a Equação acima com a suposição de que o sistema estava no
estado 𝑖 no instante inicial, isto é, com condição inicial 𝑝𝑖 0 = 1 e 𝑝𝑗 0 =
0 para todo 𝑖 ≠ 𝑗, então a solução é de fato 𝑝𝑖𝑗 𝑡 , a componente 𝑖𝑗 de 𝑃 𝑡 .
19. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Equação de Balanço
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
No estudo das cadeias de Markov em tempo contínuo interessa conhecer as
probabilidades estacionárias (𝑡 → ∞) de o processo estar nos diferentes
estados 𝑝𝑗 .
À medida que 𝑡 → ∞ e as probabilidades dos estados do sistema convergem
para uma fmp que não depende das condições iniciais, é comportamento
(exemplo) típico de sistemas que alcançam uma condição de “equilíbrio” ou
“regime permanente”.
Para se obterem as probabilidades estacionárias, escrevem-se as chamadas
“equações de balanço” que traduzem a ideia de que, em equilíbrio, a taxa
média de saídas de um qualquer estado deve ser igual à taxa média de
entradas nesse mesmo estado.
20. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Fórmula ou Equação de
Balanço Global
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Para tais sistemas, 𝑝𝑗 𝑡 → 𝑝𝑗 e 𝑝′ 𝑗 𝑡 → 0, lembrando que 𝛾𝑗𝑗 = −𝑣𝑗
𝑝𝑗 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖, se 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑗𝑖, então podemos reescrever:
𝑝𝑗
𝑖≠𝑗
𝛾𝑗𝑖 =
𝑖≠𝑗
𝛾𝑖𝑗 𝑝𝑖
O sistema de equações lineares dado pela Equação acima é chamado de
Equações de Balanço Global.
À semelhança do que acontecia nas cadeias em tempo discreto, também o
sistema acima é indeterminado.
Encontram-se, então, as probabilidades estacionárias acrescentando a
equação seguinte: σ𝒋 𝒑𝒊 = 𝟏.
21. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço são facilmente escritas a partir do diagrama de
transições, pois o facto de as transições de um qualquer estado só serem
possíveis para, no máximo, dois estados torna as equações bastante simples.
Consideremos o seguinte diagrama de transições:
22. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço serão, então:
Estado 0: 𝑝0 𝛾01 = 𝛾10 𝑝1
Estado 1: 𝑝0 𝛾10 + 𝛾12 = 𝛾01 𝑝0 + 𝛾21 𝑝2
Estado 2: 𝑝2 𝛾21 + 𝛾23 = 𝛾12 𝑝1 + 𝛾32 𝑝3
⋮ ⋮ ⋮ ⋮
Estado 𝑛: 𝑝 𝑛 𝛾 𝑛,𝑛−1 + 𝛾 𝑛,𝑛+1 = 𝛾 𝑛−1,𝑛 𝑝 𝑛−1 + 𝛾 𝑛+1,𝑛 𝑝 𝑛+1
Equação de normalização σ 𝑗 𝑝𝑖 = 1
Através destas equações, verifica-se que, em equilíbrio, a probabilidade do
fluxo para fora do estado 𝑗, dada por 𝑝𝑗 𝑣𝑗, é igual à probabilidade do fluxo para
dentro do estado 𝑗.
23. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Resolvendo este conjunto de equações lineares podemos obter a fmp dos
estados do sistema em regime permanente (quando existir).
Seja 𝑝 = 𝑝𝑖 a fmp estacionária dos estados da cadeia de Markov. Desde
que 𝑝 satisfaz a Equação de Chapman-Kolmogorov, se iniciamos a cadeia de
Markov com uma fmp inicial dada por 𝑝, então as probabilidades dos
estados serão: 𝒑𝒊 = 𝒑 𝒕 , ∀𝑡
O processo resultante é estacionário, desde que a probabilidade da sequência
de estados 𝑖0, 𝑖1, 𝑖2, … , 𝑖 𝑛 nos instantes 𝑡 < 𝑡1 + 𝑡 < 𝑡2 + 𝑡 < ⋯ < 𝑡 𝑛 + 𝑡, pela
equação:
24. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 𝑋 𝑡 = 𝑖0, 𝑋 𝑡1 + 𝑡 = 𝑖1, … , 𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛
= 𝑃 ȁ𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 𝑋 𝑡 𝑛−1 + 𝑡 = 𝑖 𝑛−1 ∗ ⋯ ∗ 𝑃 ȁ𝑋 𝑡1 + 𝑡 = 𝑖1 𝑋 𝑡 = 𝑖0
∗ 𝑃 𝑋 𝑡 = 𝑖0
Se as probabilidades de transição dependem somente da diferença entre os
tempos associados, então a probabilidade conjunta acima depende da escolha
da origem apenas através de 𝑃 𝑋 𝑡 = 𝑖0 ,sabendo que 𝑃 𝑋 𝑡 = 𝑖0 = 𝑝𝑖0 para
todo 𝑡.
Portanto concluímos que a probabilidade conjunta acima é independente da
escolha da origem dos tempos e que o processo é estacionário.
25. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Exemplo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma máquina, integrada numa linha de produção, solda duas peças idênticas.
Sabe-se que o tempo entre duas chegadas consecutivas de peças à máquina
tem uma distribuição exponencial com média igual a um quarto de hora. Da
mesma forma, o tempo de soldagem segue uma distribuição exponencial com
média igual a meia hora.
Pretende-se construir uma cadeia de Markov que represente a situação
descrita, determinando as probabilidades estacionárias.
𝑋(𝑡) representar o número de peças na máquina no momento 𝑡.
O espaço de estados será, deste modo, 𝑋 = 0, 1, 2 .
Chegada de uma peça à máquina 𝑣 𝑐ℎ𝑒𝑔 = 4 Τ𝑝𝑒ç
ℎ e saída das duas peças
soldadas 𝑣 𝑠𝑎𝑖 = 2 Τ𝑝𝑒ç
ℎ .
26. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 =
0 4 0
0 0 4
2 0 0
As transições 0 → 1 e 1 → 2 correspondem à chegada de
uma peça à máquina, enquanto a transição 2 → 0
corresponde à saída das peças soldadas.
Não se considera a possibilidade de haver a
transição 0 → 2 pelo facto de se considerar que só
ocorre um evento de cada vez.
A matriz que contem as taxas
de transição é a seguinte:
Exemplo
27. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Equações de balanço:
estado 0: 4𝜋0 = 2𝜋2
estado 1: 4𝜋1 = 2𝜋0
estado 2: 4𝜋2 = 2𝜋1
Equação de normalização: 𝜋0 + 𝜋1 + 𝜋2 = 1
A solução do sistema é 𝜋0 = 0,25, 𝜋1 = 0,25 e 𝜋2 = 0,50.
Significa isto que, a máquina passa 25% do tempo com 0 ou 1 peça, e 50%
com 2 peças.
Para calcular as probabilidades estacionárias, escrevemos as equações de
balanço e a equação de normalização:
Exemplo
28. Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
BIBLIOGRAFIA
Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc.
Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth
Edition, McGraw-Hill.
Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley &
Sons.
Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons.
Winston, Wayne L. (1994), Operations Research – Applications and Algorithms,
Third Edition, Duxbury Press.
Testo base de processo estocástico: Apostila TP501 – Ynoguti 2011