SlideShare uma empresa Scribd logo
1 de 28
Baixar para ler offline
Janeiro de 2019
Processo Estocástico
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Introdução
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Qualquer sistema real opera sempre em ambientes onde a incerteza impera,
principalmente quando o sistema envolve, pela sua natureza, acções humanas
imprevisíveis ou avarias de máquinas.
Assim, recorre-se a Processos Estocásticos como uma forma de tratar
quantitativamente estes fenómenos, aproveitando certas características de
regularidade que eles apresentam para serem descritos por modelos
probabilísticos.
O conceito matemático dos processos estocásticos tem-se revelado adequado
para descrever alguns fenómenos físicos, e não só, ou seja, fenómeno que
varia em algum grau, de forma imprevisível, aleatória, à medida que o tempo
passa .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Conceito Estocástico
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Processo Estocástico, 𝑿 𝒕 : é um modelo matemático utilizado para o estudo
de fenómenos aleatórios que têm como resultados funções em função de
tempo. Função aleatória do tempo para modelar formas de onda
desconhecidas
Função amostra x 𝒕, 𝒔 : Função do tempo associada com o resultado 𝒔 de um
experimento.
Ensemble: Conjunto de todas as possíveis funções do tempo que podem
resultar de um experimento.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
O processo de Markov (Andrei Andrevevich Markov) é um exemplo de um
processo estocástico em que a probabilidade de um sistema estar num estado
𝑖 num período 𝑛 + 1, depende do estado em que estava no período 𝑛.
Um processo aleatório 𝑋 𝑡 é um processo de Markov (ou Memoryless process
“processo sem memória”) se o futuro, dado o presente, é independente do
passado, isto é, para instantes arbitrários 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1,
𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡 𝑛−1 = 𝑥 𝑛−1, … , 𝑋 𝑡1 = 𝑥1
= 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛 se 𝑋 𝑡 assume valores contínuos.
Se as amostras de 𝑋 𝑡 são conjuntamente contínuas, então a equação
anterior é equivalente a:
𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛, … , 𝑋 𝑡1 = 𝑥1 = 𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Um processo de Markov que assume somente valores inteiros é chamado de
Cadeia de Markov.
A fmp (Função Massa de Probabilidade) conjunta para 𝑘 + 1 instantes de
tempo arbitrários de uma cadeia de Markov é dada pela equação seguinte
independentemente de ser ou não de tempo continuo:
𝑃 𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1, 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡1 = 𝑥1 = 𝑃ሾ
ሿ
ȁ𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1 𝑋 𝑡 𝑛 =
𝑥 𝑛 …𝑃 ȁ𝑋 𝑡2 = 𝑥2 𝑋 𝑡1 = 𝑥1 𝑃 𝑋 𝑡1 = 𝑥1 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma Cadeia de Markov em Tempo Contínuo é, como a designação indica,
uma cadeia de Markov em que a variável tempo é contínua, representando
instantes ou momentos do tempo (e não períodos no tempo como no ponto
anterior).
Assim, uma cadeia de Markov em tempo contínuo é um processo
estocástico 𝑋 𝑡 , 𝑡 > 0 com a propriedade de Markov, ou seja, a
probabilidade de o processo estar no estado 𝑗 num momento futuro depende
apenas do estado presente e não dos estados visitados em qualquer momento
passado.
Um processo estocástico 𝑋 𝑡 forma uma Cadeia de Markov de Tempo
Contínuo se, para todo inteiro n e qualquer sequência 𝑡1, 𝑡2, … , 𝑡 𝑛, 𝑡 𝑛+1
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Probabilidade de Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
tal que 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, tem-se,
𝑃 ȁ𝑋 𝑡 𝑛+1 = 𝑖 𝑛+1 𝑋 𝑡1 = 𝑖1, 𝑋 𝑡2 = 𝑖2, … , 𝑋 𝑡 𝑛 = 𝑖 𝑛
= 𝑷 ȁ𝑿 𝒕 𝒏+𝟏 = 𝒊 𝒏+𝟏 𝑿 𝒕 𝒏 = 𝒊 𝒏
A equação da cadeia de Markov, requer que saibamos as probabilidades de transição
no intervalo entre um instante de tempo arbitrário 𝑠 e outro instante de tempo arbitrário
𝑠 + 𝑡:
𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , t ≥ 0
Se as probabilidades de transição dependem somente da diferença entre os dois
instantes de tempo:
𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 = 𝑃 ȁ𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 = 𝑝𝑖𝑗, t ≥ 0, ∀𝑠.
Dizemos que 𝑋 𝑡 tem probabilidades de transição homogéneas.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Probabilidade de
Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema da probabilidades de transição. Seja P 𝑡 = 𝑝𝑖𝑗 𝑡 a matriz de
probabilidades de transição em um intervalo de comprimento 𝑡. Desde que
𝑝𝑖𝑖 0 = 1 e 𝑝𝑖𝑗 0 = 0 para 𝑖 ≠ 𝑗, temos: onde 𝑰 é a matriz.𝐏 𝟎 = 𝑰
Cadeias Homogéneas:
• probabilidade de transição não depende nem da sequência de estados e nem
do intervalo; depende apenas do tamanho do intervalo:
𝒑𝒊𝒋 𝒕 ≜ 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 = 𝒑𝒊𝒋 0, 𝑡
Cadeias Não Homogéneas:
• probabilidade de transição não depende da sequência de estados mas
depende do intervalo em si (i.e., depende dos instantes inicial e final).
𝒑𝒊𝒋 𝒔, 𝒕 ≜ 𝑷 ȁ𝑿 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , 𝑡 ≥ 𝑠
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Consideremos um vector-probabilidade num processo estocástico que é
denotado por 𝑋 𝑡 = 𝑥1 𝑡 𝑥2 𝑡 𝑥3 𝑡 𝑥 𝑛 𝑡 em que 𝑥𝑖 𝑡 é a
probabilidade com que o sistema esteja no estado 𝑖 no instante 𝑡, para 𝑖 =
1,2,3, … , 𝑛. Vale lembrar que σ𝑖=1
𝑛
𝑥𝑖 𝑡 = 1.
Uma Matriz de Transição é uma matriz quadrada de ordem 𝑷 𝒏𝐱𝒏 = 𝒑𝒊𝒋 onde
cada 𝑝𝑖𝑗 é a probabilidade de que haja uma transição do estado i para o estado
j.
A probabilidade de 𝑋 𝑛+1 estar no estado 𝑗 dado que 𝑋 𝑛 está no estado 𝑖 é
chamada probabilidade de transição de um passo e é denotada por:
𝑃𝑖𝑗
𝑛,𝑛+1
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Isto é: 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃 𝑋 𝑛+1 = 𝑗ȁ 𝑋 𝑛 = 𝑖
Esta notação enfatiza que, em geral, as probabilidades de transição são
funções não somente dos estados inicial e final, mas também do tempo de
transição.
Quando as probabilidades de transição em um passo são independentes
da variável do tempo 𝒏 , dizemos que a Cadeia de Markov tem
probabilidades de transição estacionárias.
Então 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃𝑖𝑗 é independente de 𝑛 e 𝑃𝑖𝑗 é a probabilidade condicional que
o valor do estado transite de 𝑖 a 𝑗 em uma tentativa.
Pode-se visualizar as quantidades 𝑃𝑖𝑗 de forma matricial:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A análise de uma Cadeia de Markov caracteriza-se principalmente pelo cálculo
das probabilidades de transições em 𝑛 passos.
São as matrizes de probabilidades de transição em 𝑛 passos,
P(𝑛) = 𝑃𝑖𝑗
(𝑛)
onde 𝑃𝑖𝑗
(𝑛)
denota a probabilidade que o processo vá do estado 𝑖 para o
estado 𝑗 em 𝑛 transições.
Formalmente, 𝑃𝑖𝑗
(𝑛)
= 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 .
𝑃00 𝑃01
𝑃10 𝑃11
⋯ 𝑃0𝑗
⋯ 𝑃1𝑗
⋮ ⋮
𝑃𝑖0 𝑃𝑖1
⋱ ⋮
⋯ 𝑃𝑖𝑗
E chamamos 𝐏 = 𝑷𝒊𝒋 Matriz de Markov ou
Matriz de Probabilidades de Transição.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Tempos de ocupação de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema das Potências da Matriz de Transição: Seja 𝑃 a matriz de transição de um
processo em cadeia de Markov, a matriz de transição para 𝑛 estágios e igual a 𝑛-ésima
potência de 𝑃: 𝑃(𝑛) = 𝑃 ∗ 𝑃 ∗ 𝑃 ∗ ⋯ ∗ 𝑃 = 𝑃 𝑛
Propriedade do tempo de ocupação de estados: Um processo aleatório, em
que num dado tempo, o sistema 𝑋(𝑡) permanece em um dado valor (estado)
para cada intervalo de tempo aleatório exponencialmente distribuído.
O processo permanece no estado 𝑖 entre os instantes 0 e 𝑡 se e só se o tempo
de permanência no estado 𝑖 for superior a 𝑡, ou seja, P 𝑋 𝑡 = 𝑖ȁ 𝑋 0 = 𝑖 =
P 𝜏𝑖 > 𝑡ȁ 𝜏𝑖 > 0 = P 𝜏𝑖 > 𝑡
Por outro lado, o sistema permanece no estado 𝑖 entre os instantes 𝑠 e 𝑡 + 𝑠
se e só se o tempo necessário para que o sistema saia do estado 𝑖 for superior
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
a 𝑡 + 𝑠 , dado que o tempo de permanência no estado 𝑖 era superior a 𝑠, ou
seja, P 𝑋 𝑡 + 𝑠 = 𝑖ȁ 𝑋 𝑠 = 𝑖 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 .
Suponha agora que o processo já tenha estado no estado 𝑖 por 𝑠 segundos;
então a probabilidade de gastar mais 𝑡 segundos neste estado é:
P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝑋 𝑠, > 𝑖, 0 ≤ 𝑠, ≤ 𝑠
desde que 𝜏𝑖 > 𝑠 implica que o sistema tem estado no estado 𝑖 durante o
intervalo de tempo 0, 𝑠 .
Por outras palavras, a distribuição da variável aleatória “tempo de permanência
num dado estado” é independente do tempo que o processo tenha já passado
nesse estado (propriedade da ausência de memória).
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Como a única distribuição contínua que goza desta propriedade é a distribuição
exponencial, concluímos que 𝜏𝑖 tem distribuição exponencial.
O tempo gasto no estado 𝒊 é uma variável aleatória exponencial com alguma média Τ𝟏
𝒗 𝒊:
P 𝜏𝑖 > 𝑡 = 𝑒 𝒗 𝒊 𝑡
O tempo médio de ocupação de estado Τ𝟏
𝒗 𝒊 irá geralmente ser diferente
para cada estado, também igual ao desvio padrão, e a variância ൗ𝟏
𝒗 𝒊
𝟐 .
O resultado acima nos dá uma outra maneira de olhar para cadeias de Markov
de tempo contínuo.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A cada vez que um estado 𝑖 é alcançado, selecciona-se um tempo de
ocupação de estado 𝑇𝑖 exponencialmente distribuído.
Quando o tempo se esgota, o próximo estado 𝑗 é seleccionado de acordo com
uma cadeia de Markov de tempo discreto, com probabilidades de transição ෤𝑞𝑖𝑗 .
Então o novo tempo de ocupação de estado é seleccionado de acordo com 𝑇𝑗 ,
e assim por diante. Chamamos ෤𝑞𝑖𝑗 de uma cadeia de Markov embutida.
A distribuição exponencial goza de duas propriedades importantes:
✓ Ausência de memória, segundo a qual P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡
✓ Se a variável aleatória 𝜏 𝑚𝑖𝑛 for o mínimo de diferentes variáveis aleatórias
independentes 𝜏𝑖, 𝜏2, 𝜏3, … , 𝜏 𝑛 , cada um com distribuição
exponencial de parâmetro 𝑣𝑖 ( 𝑖 = 1,2, … , 𝑛 ), então 𝜏 𝑚𝑖𝑛 tem também
distribuição exponencial, sendo o parâmetro dado por: 𝒗 = σ 𝒗𝒊
.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Existem duas formas de representação: graficamente, através do “diagrama de
transições”, ou através de uma matriz quadrada 𝑃 que contem as taxas de
transição.
Num diagrama de transições cada estado é representado por um vértice, e
cada arco orientado ligando dois vértices representa uma transição possível
entre dois estados, sendo o coeficiente associado ao arco a respectiva taxa.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Na matriz 𝑃, cada linha 𝑖 representa o estado actual e cada coluna j representa
o estado futuro (a ordem dos estados actuais deve ser igual à dos estados
futuros, respectivamente, nas linhas e nas colunas de 𝑃). Deste modo, o
elemento 𝑣𝑖𝑗 da matriz representa a taxa de transição do estado 𝑖 para o
estado 𝑗.
As taxas de transição 𝑣𝑖𝑗 são dadas por 𝑣𝑖𝑗 = 𝑣𝑖 𝑝𝑖𝑗 𝑖 ≠ 𝑗 , e portanto verifica-
se que σ 𝑗≠𝑖 𝑣𝑖𝑗 = 𝑣𝑖 σ 𝑗≠𝑖 𝑝𝑖𝑗 = 𝑣𝑖
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Taxa de transição e
Probabilidade de estados dependente
do tempo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A probabilidade de o processo permanecer no estado 𝑖 durante o intervalo
(bastante curto) é 𝑃 𝜏𝑖 > 𝛿 = 𝑒 𝑣𝑖 𝛿 = 1 − 𝑣𝑖 𝛿 + 𝑜(𝛿) onde 𝑜(𝛿) denota os
termos que se tornam desprezíveis em relação à medida que 𝛿 → 0.
Uma vez que o processo deixa o estado 𝑖, ele entra no estado 𝑗 com
probabilidade 𝑝𝑖𝑗 𝛿 = 𝛾𝑖𝑗 𝛿 − 𝑜(𝛿), onde 𝛾𝑖𝑗 = 𝑣𝑖 ෤𝑞𝑖𝑗 a taxa na qual o processo
𝑋(𝑡) entra no estado 𝑗 partindo do estado 𝑖 e 𝑣𝑖 é a taxa de saída do estado 𝑖.
Equação de Chapman-Kolmogorov para cadeias de Markov de tempo
contínuo. 𝒑′𝒋 𝒕 = σ𝒊 𝜸𝒊𝒋 𝒑𝒊 𝒕 .
Se resolvemos a Equação acima com a suposição de que o sistema estava no
estado 𝑖 no instante inicial, isto é, com condição inicial 𝑝𝑖 0 = 1 e 𝑝𝑗 0 =
0 para todo 𝑖 ≠ 𝑗, então a solução é de fato 𝑝𝑖𝑗 𝑡 , a componente 𝑖𝑗 de 𝑃 𝑡 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Equação de Balanço
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
No estudo das cadeias de Markov em tempo contínuo interessa conhecer as
probabilidades estacionárias (𝑡 → ∞) de o processo estar nos diferentes
estados 𝑝𝑗 .
À medida que 𝑡 → ∞ e as probabilidades dos estados do sistema convergem
para uma fmp que não depende das condições iniciais, é comportamento
(exemplo) típico de sistemas que alcançam uma condição de “equilíbrio” ou
“regime permanente”.
Para se obterem as probabilidades estacionárias, escrevem-se as chamadas
“equações de balanço” que traduzem a ideia de que, em equilíbrio, a taxa
média de saídas de um qualquer estado deve ser igual à taxa média de
entradas nesse mesmo estado.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Fórmula ou Equação de
Balanço Global
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Para tais sistemas, 𝑝𝑗 𝑡 → 𝑝𝑗 e 𝑝′ 𝑗 𝑡 → 0, lembrando que 𝛾𝑗𝑗 = −𝑣𝑗
𝑝𝑗 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖, se 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑗𝑖, então podemos reescrever:
𝑝𝑗 ෍
𝑖≠𝑗
𝛾𝑗𝑖 = ෍
𝑖≠𝑗
𝛾𝑖𝑗 𝑝𝑖
O sistema de equações lineares dado pela Equação acima é chamado de
Equações de Balanço Global.
À semelhança do que acontecia nas cadeias em tempo discreto, também o
sistema acima é indeterminado.
Encontram-se, então, as probabilidades estacionárias acrescentando a
equação seguinte: σ𝒋 𝒑𝒊 = 𝟏.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço são facilmente escritas a partir do diagrama de
transições, pois o facto de as transições de um qualquer estado só serem
possíveis para, no máximo, dois estados torna as equações bastante simples.
Consideremos o seguinte diagrama de transições:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço serão, então:
Estado 0: 𝑝0 𝛾01 = 𝛾10 𝑝1
Estado 1: 𝑝0 𝛾10 + 𝛾12 = 𝛾01 𝑝0 + 𝛾21 𝑝2
Estado 2: 𝑝2 𝛾21 + 𝛾23 = 𝛾12 𝑝1 + 𝛾32 𝑝3
⋮ ⋮ ⋮ ⋮
Estado 𝑛: 𝑝 𝑛 𝛾 𝑛,𝑛−1 + 𝛾 𝑛,𝑛+1 = 𝛾 𝑛−1,𝑛 𝑝 𝑛−1 + 𝛾 𝑛+1,𝑛 𝑝 𝑛+1
Equação de normalização σ 𝑗 𝑝𝑖 = 1
Através destas equações, verifica-se que, em equilíbrio, a probabilidade do
fluxo para fora do estado 𝑗, dada por 𝑝𝑗 𝑣𝑗, é igual à probabilidade do fluxo para
dentro do estado 𝑗.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Resolvendo este conjunto de equações lineares podemos obter a fmp dos
estados do sistema em regime permanente (quando existir).
Seja 𝑝 = 𝑝𝑖 a fmp estacionária dos estados da cadeia de Markov. Desde
que 𝑝 satisfaz a Equação de Chapman-Kolmogorov, se iniciamos a cadeia de
Markov com uma fmp inicial dada por 𝑝, então as probabilidades dos
estados serão: 𝒑𝒊 = 𝒑 𝒕 , ∀𝑡
O processo resultante é estacionário, desde que a probabilidade da sequência
de estados 𝑖0, 𝑖1, 𝑖2, … , 𝑖 𝑛 nos instantes 𝑡 < 𝑡1 + 𝑡 < 𝑡2 + 𝑡 < ⋯ < 𝑡 𝑛 + 𝑡, pela
equação:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 𝑋 𝑡 = 𝑖0, 𝑋 𝑡1 + 𝑡 = 𝑖1, … , 𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛
= 𝑃 ȁ𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 𝑋 𝑡 𝑛−1 + 𝑡 = 𝑖 𝑛−1 ∗ ⋯ ∗ 𝑃 ȁ𝑋 𝑡1 + 𝑡 = 𝑖1 𝑋 𝑡 = 𝑖0
∗ 𝑃 𝑋 𝑡 = 𝑖0
Se as probabilidades de transição dependem somente da diferença entre os
tempos associados, então a probabilidade conjunta acima depende da escolha
da origem apenas através de 𝑃 𝑋 𝑡 = 𝑖0 ,sabendo que 𝑃 𝑋 𝑡 = 𝑖0 = 𝑝𝑖0 para
todo 𝑡.
Portanto concluímos que a probabilidade conjunta acima é independente da
escolha da origem dos tempos e que o processo é estacionário.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Exemplo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma máquina, integrada numa linha de produção, solda duas peças idênticas.
Sabe-se que o tempo entre duas chegadas consecutivas de peças à máquina
tem uma distribuição exponencial com média igual a um quarto de hora. Da
mesma forma, o tempo de soldagem segue uma distribuição exponencial com
média igual a meia hora.
Pretende-se construir uma cadeia de Markov que represente a situação
descrita, determinando as probabilidades estacionárias.
𝑋(𝑡) representar o número de peças na máquina no momento 𝑡.
O espaço de estados será, deste modo, 𝑋 = 0, 1, 2 .
Chegada de uma peça à máquina 𝑣 𝑐ℎ𝑒𝑔 = 4 Τ𝑝𝑒ç
ℎ e saída das duas peças
soldadas 𝑣 𝑠𝑎𝑖 = 2 Τ𝑝𝑒ç
ℎ .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 =
0 4 0
0 0 4
2 0 0
As transições 0 → 1 e 1 → 2 correspondem à chegada de
uma peça à máquina, enquanto a transição 2 → 0
corresponde à saída das peças soldadas.
Não se considera a possibilidade de haver a
transição 0 → 2 pelo facto de se considerar que só
ocorre um evento de cada vez.
A matriz que contem as taxas
de transição é a seguinte:
Exemplo
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Equações de balanço:
estado 0: 4𝜋0 = 2𝜋2
estado 1: 4𝜋1 = 2𝜋0
estado 2: 4𝜋2 = 2𝜋1
Equação de normalização: 𝜋0 + 𝜋1 + 𝜋2 = 1
A solução do sistema é 𝜋0 = 0,25, 𝜋1 = 0,25 e 𝜋2 = 0,50.
Significa isto que, a máquina passa 25% do tempo com 0 ou 1 peça, e 50%
com 2 peças.
Para calcular as probabilidades estacionárias, escrevemos as equações de
balanço e a equação de normalização:
Exemplo
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
BIBLIOGRAFIA
Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc.
Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth
Edition, McGraw-Hill.
Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley &
Sons.
Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons.
Winston, Wayne L. (1994), Operations Research – Applications and Algorithms,
Third Edition, Duxbury Press.
Testo base de processo estocástico: Apostila TP501 – Ynoguti 2011

Mais conteúdo relacionado

Mais procurados

Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...
Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...
Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...Leinylson Fontinele
 
Lógica: Exercícios Resolvidos
Lógica: Exercícios ResolvidosLógica: Exercícios Resolvidos
Lógica: Exercícios Resolvidosnumerosnamente
 
Lógica e Matemática Computacional - Exercícios 03
Lógica e Matemática Computacional - Exercícios 03Lógica e Matemática Computacional - Exercícios 03
Lógica e Matemática Computacional - Exercícios 03thomasdacosta
 
Exercícios Resolvidos: Regra da cadeia
Exercícios Resolvidos: Regra da cadeia Exercícios Resolvidos: Regra da cadeia
Exercícios Resolvidos: Regra da cadeia Diego Oliveira
 
Apostila de mecânica aplicada
Apostila de mecânica aplicadaApostila de mecânica aplicada
Apostila de mecânica aplicadaCaio Cesar Cardoso
 
Resnick e halliday física 3 - eletromagnetismo - 4 ed
Resnick e halliday   física 3 - eletromagnetismo - 4 edResnick e halliday   física 3 - eletromagnetismo - 4 ed
Resnick e halliday física 3 - eletromagnetismo - 4 edJordanMacedo
 
Pesquisa Operacional Aula 01 - Apresentação
Pesquisa Operacional Aula 01 - ApresentaçãoPesquisa Operacional Aula 01 - Apresentação
Pesquisa Operacional Aula 01 - ApresentaçãoLeinylson Fontinele
 
Pesquisa Operacional
Pesquisa OperacionalPesquisa Operacional
Pesquisa Operacionalmsleite100
 
Solucionário Capitulo4 FOX
Solucionário Capitulo4 FOXSolucionário Capitulo4 FOX
Solucionário Capitulo4 FOXMarilza Sousa
 
Exercícios Resolvidos: Distribuição Binomial
Exercícios Resolvidos: Distribuição BinomialExercícios Resolvidos: Distribuição Binomial
Exercícios Resolvidos: Distribuição BinomialDiego Oliveira
 
Apostila Modelo ER (Entidade Relacionamento)
Apostila Modelo ER (Entidade Relacionamento)Apostila Modelo ER (Entidade Relacionamento)
Apostila Modelo ER (Entidade Relacionamento)Ricardo Terra
 
Lógica e Matemática Computacional - Exercícios 02
Lógica e Matemática Computacional - Exercícios 02Lógica e Matemática Computacional - Exercícios 02
Lógica e Matemática Computacional - Exercícios 02thomasdacosta
 
Matemática Probabilidade resumo
Matemática Probabilidade resumoMatemática Probabilidade resumo
Matemática Probabilidade resumoGilciney Jardim
 
Tabela De Pares De Transformadas De Laplace
Tabela De Pares De Transformadas De LaplaceTabela De Pares De Transformadas De Laplace
Tabela De Pares De Transformadas De LaplaceIury Zamecki Chemin
 

Mais procurados (20)

Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...
Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...
Pesquisa operacional - Aula 04 - Programação Linear III (Método da solução gr...
 
Lógica: Exercícios Resolvidos
Lógica: Exercícios ResolvidosLógica: Exercícios Resolvidos
Lógica: Exercícios Resolvidos
 
Lógica e Matemática Computacional - Exercícios 03
Lógica e Matemática Computacional - Exercícios 03Lógica e Matemática Computacional - Exercícios 03
Lógica e Matemática Computacional - Exercícios 03
 
Exercícios Resolvidos: Regra da cadeia
Exercícios Resolvidos: Regra da cadeia Exercícios Resolvidos: Regra da cadeia
Exercícios Resolvidos: Regra da cadeia
 
Apostila de mecânica aplicada
Apostila de mecânica aplicadaApostila de mecânica aplicada
Apostila de mecânica aplicada
 
4 cinematica dos fluidos exercícios
4 cinematica dos fluidos exercícios4 cinematica dos fluidos exercícios
4 cinematica dos fluidos exercícios
 
Raciocínio lógico parte 2
Raciocínio lógico   parte 2Raciocínio lógico   parte 2
Raciocínio lógico parte 2
 
Resnick e halliday física 3 - eletromagnetismo - 4 ed
Resnick e halliday   física 3 - eletromagnetismo - 4 edResnick e halliday   física 3 - eletromagnetismo - 4 ed
Resnick e halliday física 3 - eletromagnetismo - 4 ed
 
Dinamica fabrica avioes 2.0
Dinamica fabrica avioes 2.0Dinamica fabrica avioes 2.0
Dinamica fabrica avioes 2.0
 
Pesquisa Operacional Aula 01 - Apresentação
Pesquisa Operacional Aula 01 - ApresentaçãoPesquisa Operacional Aula 01 - Apresentação
Pesquisa Operacional Aula 01 - Apresentação
 
Pesquisa Operacional
Pesquisa OperacionalPesquisa Operacional
Pesquisa Operacional
 
Solucionário Capitulo4 FOX
Solucionário Capitulo4 FOXSolucionário Capitulo4 FOX
Solucionário Capitulo4 FOX
 
Exercícios Resolvidos: Distribuição Binomial
Exercícios Resolvidos: Distribuição BinomialExercícios Resolvidos: Distribuição Binomial
Exercícios Resolvidos: Distribuição Binomial
 
Cisalhamento
CisalhamentoCisalhamento
Cisalhamento
 
Lista 1 2 e 3 gabarito
Lista 1 2 e 3 gabaritoLista 1 2 e 3 gabarito
Lista 1 2 e 3 gabarito
 
Apostila Modelo ER (Entidade Relacionamento)
Apostila Modelo ER (Entidade Relacionamento)Apostila Modelo ER (Entidade Relacionamento)
Apostila Modelo ER (Entidade Relacionamento)
 
Lógica e Matemática Computacional - Exercícios 02
Lógica e Matemática Computacional - Exercícios 02Lógica e Matemática Computacional - Exercícios 02
Lógica e Matemática Computacional - Exercícios 02
 
Matemática Probabilidade resumo
Matemática Probabilidade resumoMatemática Probabilidade resumo
Matemática Probabilidade resumo
 
Tabela De Pares De Transformadas De Laplace
Tabela De Pares De Transformadas De LaplaceTabela De Pares De Transformadas De Laplace
Tabela De Pares De Transformadas De Laplace
 
Manual TI-NSpire
Manual TI-NSpireManual TI-NSpire
Manual TI-NSpire
 

Semelhante a Processos Estocásticos em Cadeia de Markov

Semelhante a Processos Estocásticos em Cadeia de Markov (6)

Aula 6 - Modelos de Inferência.pdf
Aula 6 - Modelos de Inferência.pdfAula 6 - Modelos de Inferência.pdf
Aula 6 - Modelos de Inferência.pdf
 
Po iii aula 2 markov texto vr 2017
Po iii aula 2  markov  texto vr 2017Po iii aula 2  markov  texto vr 2017
Po iii aula 2 markov texto vr 2017
 
Processos estocaticos 20150
Processos estocaticos 20150Processos estocaticos 20150
Processos estocaticos 20150
 
Conceitos e simulação de cadeias de markov
Conceitos e simulação de cadeias de markovConceitos e simulação de cadeias de markov
Conceitos e simulação de cadeias de markov
 
Cadeias de Markov
Cadeias de MarkovCadeias de Markov
Cadeias de Markov
 
Dissertacao
DissertacaoDissertacao
Dissertacao
 

Mais de Wadiley Nascimento

Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023Wadiley Nascimento
 
Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)Wadiley Nascimento
 
Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)Wadiley Nascimento
 
Aula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdfAula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdfWadiley Nascimento
 
Aula - Distribuições Discretas
Aula - Distribuições DiscretasAula - Distribuições Discretas
Aula - Distribuições DiscretasWadiley Nascimento
 
Aula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdfAula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdfWadiley Nascimento
 
Resumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdfResumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdfWadiley Nascimento
 
Resumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdfResumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdfWadiley Nascimento
 
Resumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdfResumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdfWadiley Nascimento
 
Resumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdfResumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdfWadiley Nascimento
 
Estatística II para Economia e Getão
Estatística II para Economia e GetãoEstatística II para Economia e Getão
Estatística II para Economia e GetãoWadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesWadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesWadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesWadiley Nascimento
 

Mais de Wadiley Nascimento (20)

Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023
 
Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)
 
Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)
 
Aula - Amostragem.pdf
Aula - Amostragem.pdfAula - Amostragem.pdf
Aula - Amostragem.pdf
 
Aula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdfAula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdf
 
Aula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdfAula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdf
 
Aula - Distribuições Discretas
Aula - Distribuições DiscretasAula - Distribuições Discretas
Aula - Distribuições Discretas
 
Aula - Variável Aleatória
Aula - Variável AleatóriaAula - Variável Aleatória
Aula - Variável Aleatória
 
Aula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdfAula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdf
 
Resumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdfResumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdf
 
Resumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdfResumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdf
 
Resumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdfResumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdf
 
Resumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdfResumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdf
 
Resumo - Sucessão.pdf
Resumo - Sucessão.pdfResumo - Sucessão.pdf
Resumo - Sucessão.pdf
 
Estatística II
Estatística IIEstatística II
Estatística II
 
Métodos Econométricos I
Métodos Econométricos IMétodos Econométricos I
Métodos Econométricos I
 
Estatística II para Economia e Getão
Estatística II para Economia e GetãoEstatística II para Economia e Getão
Estatística II para Economia e Getão
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 

Processos Estocásticos em Cadeia de Markov

  • 2. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Introdução Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema envolve, pela sua natureza, acções humanas imprevisíveis ou avarias de máquinas. Assim, recorre-se a Processos Estocásticos como uma forma de tratar quantitativamente estes fenómenos, aproveitando certas características de regularidade que eles apresentam para serem descritos por modelos probabilísticos. O conceito matemático dos processos estocásticos tem-se revelado adequado para descrever alguns fenómenos físicos, e não só, ou seja, fenómeno que varia em algum grau, de forma imprevisível, aleatória, à medida que o tempo passa .
  • 3. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Conceito Estocástico Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Processo Estocástico, 𝑿 𝒕 : é um modelo matemático utilizado para o estudo de fenómenos aleatórios que têm como resultados funções em função de tempo. Função aleatória do tempo para modelar formas de onda desconhecidas Função amostra x 𝒕, 𝒔 : Função do tempo associada com o resultado 𝒔 de um experimento. Ensemble: Conjunto de todas as possíveis funções do tempo que podem resultar de um experimento.
  • 4. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Processo de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos O processo de Markov (Andrei Andrevevich Markov) é um exemplo de um processo estocástico em que a probabilidade de um sistema estar num estado 𝑖 num período 𝑛 + 1, depende do estado em que estava no período 𝑛. Um processo aleatório 𝑋 𝑡 é um processo de Markov (ou Memoryless process “processo sem memória”) se o futuro, dado o presente, é independente do passado, isto é, para instantes arbitrários 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡 𝑛−1 = 𝑥 𝑛−1, … , 𝑋 𝑡1 = 𝑥1 = 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛 se 𝑋 𝑡 assume valores contínuos. Se as amostras de 𝑋 𝑡 são conjuntamente contínuas, então a equação anterior é equivalente a: 𝑓𝑋 𝑡 𝑛+1 ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛, … , 𝑋 𝑡1 = 𝑥1 = 𝑓𝑋 𝑡 𝑛+1 ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 .
  • 5. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Processo de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Um processo de Markov que assume somente valores inteiros é chamado de Cadeia de Markov. A fmp (Função Massa de Probabilidade) conjunta para 𝑘 + 1 instantes de tempo arbitrários de uma cadeia de Markov é dada pela equação seguinte independentemente de ser ou não de tempo continuo: 𝑃 𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1, 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡1 = 𝑥1 = 𝑃ሾ ሿ ȁ𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 …𝑃 ȁ𝑋 𝑡2 = 𝑥2 𝑋 𝑡1 = 𝑥1 𝑃 𝑋 𝑡1 = 𝑥1 .
  • 6. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Definição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Uma Cadeia de Markov em Tempo Contínuo é, como a designação indica, uma cadeia de Markov em que a variável tempo é contínua, representando instantes ou momentos do tempo (e não períodos no tempo como no ponto anterior). Assim, uma cadeia de Markov em tempo contínuo é um processo estocástico 𝑋 𝑡 , 𝑡 > 0 com a propriedade de Markov, ou seja, a probabilidade de o processo estar no estado 𝑗 num momento futuro depende apenas do estado presente e não dos estados visitados em qualquer momento passado. Um processo estocástico 𝑋 𝑡 forma uma Cadeia de Markov de Tempo Contínuo se, para todo inteiro n e qualquer sequência 𝑡1, 𝑡2, … , 𝑡 𝑛, 𝑡 𝑛+1
  • 7. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Definição Probabilidade de Transição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos tal que 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, tem-se, 𝑃 ȁ𝑋 𝑡 𝑛+1 = 𝑖 𝑛+1 𝑋 𝑡1 = 𝑖1, 𝑋 𝑡2 = 𝑖2, … , 𝑋 𝑡 𝑛 = 𝑖 𝑛 = 𝑷 ȁ𝑿 𝒕 𝒏+𝟏 = 𝒊 𝒏+𝟏 𝑿 𝒕 𝒏 = 𝒊 𝒏 A equação da cadeia de Markov, requer que saibamos as probabilidades de transição no intervalo entre um instante de tempo arbitrário 𝑠 e outro instante de tempo arbitrário 𝑠 + 𝑡: 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , t ≥ 0 Se as probabilidades de transição dependem somente da diferença entre os dois instantes de tempo: 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 = 𝑃 ȁ𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 = 𝑝𝑖𝑗, t ≥ 0, ∀𝑠. Dizemos que 𝑋 𝑡 tem probabilidades de transição homogéneas.
  • 8. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Probabilidade de Transição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Teorema da probabilidades de transição. Seja P 𝑡 = 𝑝𝑖𝑗 𝑡 a matriz de probabilidades de transição em um intervalo de comprimento 𝑡. Desde que 𝑝𝑖𝑖 0 = 1 e 𝑝𝑖𝑗 0 = 0 para 𝑖 ≠ 𝑗, temos: onde 𝑰 é a matriz.𝐏 𝟎 = 𝑰 Cadeias Homogéneas: • probabilidade de transição não depende nem da sequência de estados e nem do intervalo; depende apenas do tamanho do intervalo: 𝒑𝒊𝒋 𝒕 ≜ 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 = 𝒑𝒊𝒋 0, 𝑡 Cadeias Não Homogéneas: • probabilidade de transição não depende da sequência de estados mas depende do intervalo em si (i.e., depende dos instantes inicial e final). 𝒑𝒊𝒋 𝒔, 𝒕 ≜ 𝑷 ȁ𝑿 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , 𝑡 ≥ 𝑠
  • 9. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Consideremos um vector-probabilidade num processo estocástico que é denotado por 𝑋 𝑡 = 𝑥1 𝑡 𝑥2 𝑡 𝑥3 𝑡 𝑥 𝑛 𝑡 em que 𝑥𝑖 𝑡 é a probabilidade com que o sistema esteja no estado 𝑖 no instante 𝑡, para 𝑖 = 1,2,3, … , 𝑛. Vale lembrar que σ𝑖=1 𝑛 𝑥𝑖 𝑡 = 1. Uma Matriz de Transição é uma matriz quadrada de ordem 𝑷 𝒏𝐱𝒏 = 𝒑𝒊𝒋 onde cada 𝑝𝑖𝑗 é a probabilidade de que haja uma transição do estado i para o estado j. A probabilidade de 𝑋 𝑛+1 estar no estado 𝑗 dado que 𝑋 𝑛 está no estado 𝑖 é chamada probabilidade de transição de um passo e é denotada por: 𝑃𝑖𝑗 𝑛,𝑛+1
  • 10. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Isto é: 𝑃𝑖𝑗 𝑛,𝑛+1 = 𝑃 𝑋 𝑛+1 = 𝑗ȁ 𝑋 𝑛 = 𝑖 Esta notação enfatiza que, em geral, as probabilidades de transição são funções não somente dos estados inicial e final, mas também do tempo de transição. Quando as probabilidades de transição em um passo são independentes da variável do tempo 𝒏 , dizemos que a Cadeia de Markov tem probabilidades de transição estacionárias. Então 𝑃𝑖𝑗 𝑛,𝑛+1 = 𝑃𝑖𝑗 é independente de 𝑛 e 𝑃𝑖𝑗 é a probabilidade condicional que o valor do estado transite de 𝑖 a 𝑗 em uma tentativa. Pode-se visualizar as quantidades 𝑃𝑖𝑗 de forma matricial:
  • 11. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A análise de uma Cadeia de Markov caracteriza-se principalmente pelo cálculo das probabilidades de transições em 𝑛 passos. São as matrizes de probabilidades de transição em 𝑛 passos, P(𝑛) = 𝑃𝑖𝑗 (𝑛) onde 𝑃𝑖𝑗 (𝑛) denota a probabilidade que o processo vá do estado 𝑖 para o estado 𝑗 em 𝑛 transições. Formalmente, 𝑃𝑖𝑗 (𝑛) = 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 . 𝑃00 𝑃01 𝑃10 𝑃11 ⋯ 𝑃0𝑗 ⋯ 𝑃1𝑗 ⋮ ⋮ 𝑃𝑖0 𝑃𝑖1 ⋱ ⋮ ⋯ 𝑃𝑖𝑗 E chamamos 𝐏 = 𝑷𝒊𝒋 Matriz de Markov ou Matriz de Probabilidades de Transição.
  • 12. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Teorema das Potências da Matriz de Transição: Seja 𝑃 a matriz de transição de um processo em cadeia de Markov, a matriz de transição para 𝑛 estágios e igual a 𝑛-ésima potência de 𝑃: 𝑃(𝑛) = 𝑃 ∗ 𝑃 ∗ 𝑃 ∗ ⋯ ∗ 𝑃 = 𝑃 𝑛 Propriedade do tempo de ocupação de estados: Um processo aleatório, em que num dado tempo, o sistema 𝑋(𝑡) permanece em um dado valor (estado) para cada intervalo de tempo aleatório exponencialmente distribuído. O processo permanece no estado 𝑖 entre os instantes 0 e 𝑡 se e só se o tempo de permanência no estado 𝑖 for superior a 𝑡, ou seja, P 𝑋 𝑡 = 𝑖ȁ 𝑋 0 = 𝑖 = P 𝜏𝑖 > 𝑡ȁ 𝜏𝑖 > 0 = P 𝜏𝑖 > 𝑡 Por outro lado, o sistema permanece no estado 𝑖 entre os instantes 𝑠 e 𝑡 + 𝑠 se e só se o tempo necessário para que o sistema saia do estado 𝑖 for superior
  • 13. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos a 𝑡 + 𝑠 , dado que o tempo de permanência no estado 𝑖 era superior a 𝑠, ou seja, P 𝑋 𝑡 + 𝑠 = 𝑖ȁ 𝑋 𝑠 = 𝑖 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 . Suponha agora que o processo já tenha estado no estado 𝑖 por 𝑠 segundos; então a probabilidade de gastar mais 𝑡 segundos neste estado é: P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝑋 𝑠, > 𝑖, 0 ≤ 𝑠, ≤ 𝑠 desde que 𝜏𝑖 > 𝑠 implica que o sistema tem estado no estado 𝑖 durante o intervalo de tempo 0, 𝑠 . Por outras palavras, a distribuição da variável aleatória “tempo de permanência num dado estado” é independente do tempo que o processo tenha já passado nesse estado (propriedade da ausência de memória).
  • 14. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Como a única distribuição contínua que goza desta propriedade é a distribuição exponencial, concluímos que 𝜏𝑖 tem distribuição exponencial. O tempo gasto no estado 𝒊 é uma variável aleatória exponencial com alguma média Τ𝟏 𝒗 𝒊: P 𝜏𝑖 > 𝑡 = 𝑒 𝒗 𝒊 𝑡 O tempo médio de ocupação de estado Τ𝟏 𝒗 𝒊 irá geralmente ser diferente para cada estado, também igual ao desvio padrão, e a variância ൗ𝟏 𝒗 𝒊 𝟐 . O resultado acima nos dá uma outra maneira de olhar para cadeias de Markov de tempo contínuo.
  • 15. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A cada vez que um estado 𝑖 é alcançado, selecciona-se um tempo de ocupação de estado 𝑇𝑖 exponencialmente distribuído. Quando o tempo se esgota, o próximo estado 𝑗 é seleccionado de acordo com uma cadeia de Markov de tempo discreto, com probabilidades de transição ෤𝑞𝑖𝑗 . Então o novo tempo de ocupação de estado é seleccionado de acordo com 𝑇𝑗 , e assim por diante. Chamamos ෤𝑞𝑖𝑗 de uma cadeia de Markov embutida. A distribuição exponencial goza de duas propriedades importantes: ✓ Ausência de memória, segundo a qual P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 ✓ Se a variável aleatória 𝜏 𝑚𝑖𝑛 for o mínimo de diferentes variáveis aleatórias independentes 𝜏𝑖, 𝜏2, 𝜏3, … , 𝜏 𝑛 , cada um com distribuição exponencial de parâmetro 𝑣𝑖 ( 𝑖 = 1,2, … , 𝑛 ), então 𝜏 𝑚𝑖𝑛 tem também distribuição exponencial, sendo o parâmetro dado por: 𝒗 = σ 𝒗𝒊 .
  • 16. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais REPRESENTAÇÃO Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Existem duas formas de representação: graficamente, através do “diagrama de transições”, ou através de uma matriz quadrada 𝑃 que contem as taxas de transição. Num diagrama de transições cada estado é representado por um vértice, e cada arco orientado ligando dois vértices representa uma transição possível entre dois estados, sendo o coeficiente associado ao arco a respectiva taxa.
  • 17. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais REPRESENTAÇÃO Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Na matriz 𝑃, cada linha 𝑖 representa o estado actual e cada coluna j representa o estado futuro (a ordem dos estados actuais deve ser igual à dos estados futuros, respectivamente, nas linhas e nas colunas de 𝑃). Deste modo, o elemento 𝑣𝑖𝑗 da matriz representa a taxa de transição do estado 𝑖 para o estado 𝑗. As taxas de transição 𝑣𝑖𝑗 são dadas por 𝑣𝑖𝑗 = 𝑣𝑖 𝑝𝑖𝑗 𝑖 ≠ 𝑗 , e portanto verifica- se que σ 𝑗≠𝑖 𝑣𝑖𝑗 = 𝑣𝑖 σ 𝑗≠𝑖 𝑝𝑖𝑗 = 𝑣𝑖
  • 18. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Taxa de transição e Probabilidade de estados dependente do tempo Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A probabilidade de o processo permanecer no estado 𝑖 durante o intervalo (bastante curto) é 𝑃 𝜏𝑖 > 𝛿 = 𝑒 𝑣𝑖 𝛿 = 1 − 𝑣𝑖 𝛿 + 𝑜(𝛿) onde 𝑜(𝛿) denota os termos que se tornam desprezíveis em relação à medida que 𝛿 → 0. Uma vez que o processo deixa o estado 𝑖, ele entra no estado 𝑗 com probabilidade 𝑝𝑖𝑗 𝛿 = 𝛾𝑖𝑗 𝛿 − 𝑜(𝛿), onde 𝛾𝑖𝑗 = 𝑣𝑖 ෤𝑞𝑖𝑗 a taxa na qual o processo 𝑋(𝑡) entra no estado 𝑗 partindo do estado 𝑖 e 𝑣𝑖 é a taxa de saída do estado 𝑖. Equação de Chapman-Kolmogorov para cadeias de Markov de tempo contínuo. 𝒑′𝒋 𝒕 = σ𝒊 𝜸𝒊𝒋 𝒑𝒊 𝒕 . Se resolvemos a Equação acima com a suposição de que o sistema estava no estado 𝑖 no instante inicial, isto é, com condição inicial 𝑝𝑖 0 = 1 e 𝑝𝑗 0 = 0 para todo 𝑖 ≠ 𝑗, então a solução é de fato 𝑝𝑖𝑗 𝑡 , a componente 𝑖𝑗 de 𝑃 𝑡 .
  • 19. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Equação de Balanço Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos No estudo das cadeias de Markov em tempo contínuo interessa conhecer as probabilidades estacionárias (𝑡 → ∞) de o processo estar nos diferentes estados 𝑝𝑗 . À medida que 𝑡 → ∞ e as probabilidades dos estados do sistema convergem para uma fmp que não depende das condições iniciais, é comportamento (exemplo) típico de sistemas que alcançam uma condição de “equilíbrio” ou “regime permanente”. Para se obterem as probabilidades estacionárias, escrevem-se as chamadas “equações de balanço” que traduzem a ideia de que, em equilíbrio, a taxa média de saídas de um qualquer estado deve ser igual à taxa média de entradas nesse mesmo estado.
  • 20. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Fórmula ou Equação de Balanço Global Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Para tais sistemas, 𝑝𝑗 𝑡 → 𝑝𝑗 e 𝑝′ 𝑗 𝑡 → 0, lembrando que 𝛾𝑗𝑗 = −𝑣𝑗 𝑝𝑗 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖, se 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑗𝑖, então podemos reescrever: 𝑝𝑗 ෍ 𝑖≠𝑗 𝛾𝑗𝑖 = ෍ 𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖 O sistema de equações lineares dado pela Equação acima é chamado de Equações de Balanço Global. À semelhança do que acontecia nas cadeias em tempo discreto, também o sistema acima é indeterminado. Encontram-se, então, as probabilidades estacionárias acrescentando a equação seguinte: σ𝒋 𝒑𝒊 = 𝟏.
  • 21. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Forma alternativa Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos As equações de balanço são facilmente escritas a partir do diagrama de transições, pois o facto de as transições de um qualquer estado só serem possíveis para, no máximo, dois estados torna as equações bastante simples. Consideremos o seguinte diagrama de transições:
  • 22. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Forma alternativa Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos As equações de balanço serão, então: Estado 0: 𝑝0 𝛾01 = 𝛾10 𝑝1 Estado 1: 𝑝0 𝛾10 + 𝛾12 = 𝛾01 𝑝0 + 𝛾21 𝑝2 Estado 2: 𝑝2 𝛾21 + 𝛾23 = 𝛾12 𝑝1 + 𝛾32 𝑝3 ⋮ ⋮ ⋮ ⋮ Estado 𝑛: 𝑝 𝑛 𝛾 𝑛,𝑛−1 + 𝛾 𝑛,𝑛+1 = 𝛾 𝑛−1,𝑛 𝑝 𝑛−1 + 𝛾 𝑛+1,𝑛 𝑝 𝑛+1 Equação de normalização σ 𝑗 𝑝𝑖 = 1 Através destas equações, verifica-se que, em equilíbrio, a probabilidade do fluxo para fora do estado 𝑗, dada por 𝑝𝑗 𝑣𝑗, é igual à probabilidade do fluxo para dentro do estado 𝑗.
  • 23. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Resolvendo este conjunto de equações lineares podemos obter a fmp dos estados do sistema em regime permanente (quando existir). Seja 𝑝 = 𝑝𝑖 a fmp estacionária dos estados da cadeia de Markov. Desde que 𝑝 satisfaz a Equação de Chapman-Kolmogorov, se iniciamos a cadeia de Markov com uma fmp inicial dada por 𝑝, então as probabilidades dos estados serão: 𝒑𝒊 = 𝒑 𝒕 , ∀𝑡 O processo resultante é estacionário, desde que a probabilidade da sequência de estados 𝑖0, 𝑖1, 𝑖2, … , 𝑖 𝑛 nos instantes 𝑡 < 𝑡1 + 𝑡 < 𝑡2 + 𝑡 < ⋯ < 𝑡 𝑛 + 𝑡, pela equação:
  • 24. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos 𝑃 𝑋 𝑡 = 𝑖0, 𝑋 𝑡1 + 𝑡 = 𝑖1, … , 𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 = 𝑃 ȁ𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 𝑋 𝑡 𝑛−1 + 𝑡 = 𝑖 𝑛−1 ∗ ⋯ ∗ 𝑃 ȁ𝑋 𝑡1 + 𝑡 = 𝑖1 𝑋 𝑡 = 𝑖0 ∗ 𝑃 𝑋 𝑡 = 𝑖0 Se as probabilidades de transição dependem somente da diferença entre os tempos associados, então a probabilidade conjunta acima depende da escolha da origem apenas através de 𝑃 𝑋 𝑡 = 𝑖0 ,sabendo que 𝑃 𝑋 𝑡 = 𝑖0 = 𝑝𝑖0 para todo 𝑡. Portanto concluímos que a probabilidade conjunta acima é independente da escolha da origem dos tempos e que o processo é estacionário.
  • 25. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Exemplo Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Uma máquina, integrada numa linha de produção, solda duas peças idênticas. Sabe-se que o tempo entre duas chegadas consecutivas de peças à máquina tem uma distribuição exponencial com média igual a um quarto de hora. Da mesma forma, o tempo de soldagem segue uma distribuição exponencial com média igual a meia hora. Pretende-se construir uma cadeia de Markov que represente a situação descrita, determinando as probabilidades estacionárias. 𝑋(𝑡) representar o número de peças na máquina no momento 𝑡. O espaço de estados será, deste modo, 𝑋 = 0, 1, 2 . Chegada de uma peça à máquina 𝑣 𝑐ℎ𝑒𝑔 = 4 Τ𝑝𝑒ç ℎ e saída das duas peças soldadas 𝑣 𝑠𝑎𝑖 = 2 Τ𝑝𝑒ç ℎ .
  • 26. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos 𝑃 = 0 4 0 0 0 4 2 0 0 As transições 0 → 1 e 1 → 2 correspondem à chegada de uma peça à máquina, enquanto a transição 2 → 0 corresponde à saída das peças soldadas. Não se considera a possibilidade de haver a transição 0 → 2 pelo facto de se considerar que só ocorre um evento de cada vez. A matriz que contem as taxas de transição é a seguinte: Exemplo
  • 27. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Equações de balanço: estado 0: 4𝜋0 = 2𝜋2 estado 1: 4𝜋1 = 2𝜋0 estado 2: 4𝜋2 = 2𝜋1 Equação de normalização: 𝜋0 + 𝜋1 + 𝜋2 = 1 A solução do sistema é 𝜋0 = 0,25, 𝜋1 = 0,25 e 𝜋2 = 0,50. Significa isto que, a máquina passa 25% do tempo com 0 ou 1 peça, e 50% com 2 peças. Para calcular as probabilidades estacionárias, escrevemos as equações de balanço e a equação de normalização: Exemplo
  • 28. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos BIBLIOGRAFIA Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc. Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth Edition, McGraw-Hill. Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley & Sons. Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons. Winston, Wayne L. (1994), Operations Research – Applications and Algorithms, Third Edition, Duxbury Press. Testo base de processo estocástico: Apostila TP501 – Ynoguti 2011