SlideShare uma empresa Scribd logo
Janeiro de 2019
Processo Estocástico
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Introdução
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Qualquer sistema real opera sempre em ambientes onde a incerteza impera,
principalmente quando o sistema envolve, pela sua natureza, acções humanas
imprevisíveis ou avarias de máquinas.
Assim, recorre-se a Processos Estocásticos como uma forma de tratar
quantitativamente estes fenómenos, aproveitando certas características de
regularidade que eles apresentam para serem descritos por modelos
probabilísticos.
O conceito matemático dos processos estocásticos tem-se revelado adequado
para descrever alguns fenómenos físicos, e não só, ou seja, fenómeno que
varia em algum grau, de forma imprevisível, aleatória, à medida que o tempo
passa .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Conceito Estocástico
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Processo Estocástico, 𝑿 𝒕 : é um modelo matemático utilizado para o estudo
de fenómenos aleatórios que têm como resultados funções em função de
tempo. Função aleatória do tempo para modelar formas de onda
desconhecidas
Função amostra x 𝒕, 𝒔 : Função do tempo associada com o resultado 𝒔 de um
experimento.
Ensemble: Conjunto de todas as possíveis funções do tempo que podem
resultar de um experimento.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
O processo de Markov (Andrei Andrevevich Markov) é um exemplo de um
processo estocástico em que a probabilidade de um sistema estar num estado
𝑖 num período 𝑛 + 1, depende do estado em que estava no período 𝑛.
Um processo aleatório 𝑋 𝑡 é um processo de Markov (ou Memoryless process
“processo sem memória”) se o futuro, dado o presente, é independente do
passado, isto é, para instantes arbitrários 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1,
𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡 𝑛−1 = 𝑥 𝑛−1, … , 𝑋 𝑡1 = 𝑥1
= 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛 se 𝑋 𝑡 assume valores contínuos.
Se as amostras de 𝑋 𝑡 são conjuntamente contínuas, então a equação
anterior é equivalente a:
𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛, … , 𝑋 𝑡1 = 𝑥1 = 𝑓𝑋 𝑡 𝑛+1
ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Processo de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Um processo de Markov que assume somente valores inteiros é chamado de
Cadeia de Markov.
A fmp (Função Massa de Probabilidade) conjunta para 𝑘 + 1 instantes de
tempo arbitrários de uma cadeia de Markov é dada pela equação seguinte
independentemente de ser ou não de tempo continuo:
𝑃 𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1, 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡1 = 𝑥1 = 𝑃ሾ
ሿ
ȁ𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1 𝑋 𝑡 𝑛 =
𝑥 𝑛 …𝑃 ȁ𝑋 𝑡2 = 𝑥2 𝑋 𝑡1 = 𝑥1 𝑃 𝑋 𝑡1 = 𝑥1 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma Cadeia de Markov em Tempo Contínuo é, como a designação indica,
uma cadeia de Markov em que a variável tempo é contínua, representando
instantes ou momentos do tempo (e não períodos no tempo como no ponto
anterior).
Assim, uma cadeia de Markov em tempo contínuo é um processo
estocástico 𝑋 𝑡 , 𝑡 > 0 com a propriedade de Markov, ou seja, a
probabilidade de o processo estar no estado 𝑗 num momento futuro depende
apenas do estado presente e não dos estados visitados em qualquer momento
passado.
Um processo estocástico 𝑋 𝑡 forma uma Cadeia de Markov de Tempo
Contínuo se, para todo inteiro n e qualquer sequência 𝑡1, 𝑡2, … , 𝑡 𝑛, 𝑡 𝑛+1
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Definição
Probabilidade de Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
tal que 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, tem-se,
𝑃 ȁ𝑋 𝑡 𝑛+1 = 𝑖 𝑛+1 𝑋 𝑡1 = 𝑖1, 𝑋 𝑡2 = 𝑖2, … , 𝑋 𝑡 𝑛 = 𝑖 𝑛
= 𝑷 ȁ𝑿 𝒕 𝒏+𝟏 = 𝒊 𝒏+𝟏 𝑿 𝒕 𝒏 = 𝒊 𝒏
A equação da cadeia de Markov, requer que saibamos as probabilidades de transição
no intervalo entre um instante de tempo arbitrário 𝑠 e outro instante de tempo arbitrário
𝑠 + 𝑡:
𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , t ≥ 0
Se as probabilidades de transição dependem somente da diferença entre os dois
instantes de tempo:
𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 = 𝑃 ȁ𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 = 𝑝𝑖𝑗, t ≥ 0, ∀𝑠.
Dizemos que 𝑋 𝑡 tem probabilidades de transição homogéneas.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Probabilidade de
Transição
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema da probabilidades de transição. Seja P 𝑡 = 𝑝𝑖𝑗 𝑡 a matriz de
probabilidades de transição em um intervalo de comprimento 𝑡. Desde que
𝑝𝑖𝑖 0 = 1 e 𝑝𝑖𝑗 0 = 0 para 𝑖 ≠ 𝑗, temos: onde 𝑰 é a matriz.𝐏 𝟎 = 𝑰
Cadeias Homogéneas:
• probabilidade de transição não depende nem da sequência de estados e nem
do intervalo; depende apenas do tamanho do intervalo:
𝒑𝒊𝒋 𝒕 ≜ 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 = 𝒑𝒊𝒋 0, 𝑡
Cadeias Não Homogéneas:
• probabilidade de transição não depende da sequência de estados mas
depende do intervalo em si (i.e., depende dos instantes inicial e final).
𝒑𝒊𝒋 𝒔, 𝒕 ≜ 𝑷 ȁ𝑿 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , 𝑡 ≥ 𝑠
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Consideremos um vector-probabilidade num processo estocástico que é
denotado por 𝑋 𝑡 = 𝑥1 𝑡 𝑥2 𝑡 𝑥3 𝑡 𝑥 𝑛 𝑡 em que 𝑥𝑖 𝑡 é a
probabilidade com que o sistema esteja no estado 𝑖 no instante 𝑡, para 𝑖 =
1,2,3, … , 𝑛. Vale lembrar que σ𝑖=1
𝑛
𝑥𝑖 𝑡 = 1.
Uma Matriz de Transição é uma matriz quadrada de ordem 𝑷 𝒏𝐱𝒏 = 𝒑𝒊𝒋 onde
cada 𝑝𝑖𝑗 é a probabilidade de que haja uma transição do estado i para o estado
j.
A probabilidade de 𝑋 𝑛+1 estar no estado 𝑗 dado que 𝑋 𝑛 está no estado 𝑖 é
chamada probabilidade de transição de um passo e é denotada por:
𝑃𝑖𝑗
𝑛,𝑛+1
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Isto é: 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃 𝑋 𝑛+1 = 𝑗ȁ 𝑋 𝑛 = 𝑖
Esta notação enfatiza que, em geral, as probabilidades de transição são
funções não somente dos estados inicial e final, mas também do tempo de
transição.
Quando as probabilidades de transição em um passo são independentes
da variável do tempo 𝒏 , dizemos que a Cadeia de Markov tem
probabilidades de transição estacionárias.
Então 𝑃𝑖𝑗
𝑛,𝑛+1
= 𝑃𝑖𝑗 é independente de 𝑛 e 𝑃𝑖𝑗 é a probabilidade condicional que
o valor do estado transite de 𝑖 a 𝑗 em uma tentativa.
Pode-se visualizar as quantidades 𝑃𝑖𝑗 de forma matricial:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A análise de uma Cadeia de Markov caracteriza-se principalmente pelo cálculo
das probabilidades de transições em 𝑛 passos.
São as matrizes de probabilidades de transição em 𝑛 passos,
P(𝑛) = 𝑃𝑖𝑗
(𝑛)
onde 𝑃𝑖𝑗
(𝑛)
denota a probabilidade que o processo vá do estado 𝑖 para o
estado 𝑗 em 𝑛 transições.
Formalmente, 𝑃𝑖𝑗
(𝑛)
= 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 .
𝑃00 𝑃01
𝑃10 𝑃11
⋯ 𝑃0𝑗
⋯ 𝑃1𝑗
⋮ ⋮
𝑃𝑖0 𝑃𝑖1
⋱ ⋮
⋯ 𝑃𝑖𝑗
E chamamos 𝐏 = 𝑷𝒊𝒋 Matriz de Markov ou
Matriz de Probabilidades de Transição.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Matriz de Markov
Tempos de ocupação de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Teorema das Potências da Matriz de Transição: Seja 𝑃 a matriz de transição de um
processo em cadeia de Markov, a matriz de transição para 𝑛 estágios e igual a 𝑛-ésima
potência de 𝑃: 𝑃(𝑛) = 𝑃 ∗ 𝑃 ∗ 𝑃 ∗ ⋯ ∗ 𝑃 = 𝑃 𝑛
Propriedade do tempo de ocupação de estados: Um processo aleatório, em
que num dado tempo, o sistema 𝑋(𝑡) permanece em um dado valor (estado)
para cada intervalo de tempo aleatório exponencialmente distribuído.
O processo permanece no estado 𝑖 entre os instantes 0 e 𝑡 se e só se o tempo
de permanência no estado 𝑖 for superior a 𝑡, ou seja, P 𝑋 𝑡 = 𝑖ȁ 𝑋 0 = 𝑖 =
P 𝜏𝑖 > 𝑡ȁ 𝜏𝑖 > 0 = P 𝜏𝑖 > 𝑡
Por outro lado, o sistema permanece no estado 𝑖 entre os instantes 𝑠 e 𝑡 + 𝑠
se e só se o tempo necessário para que o sistema saia do estado 𝑖 for superior
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
a 𝑡 + 𝑠 , dado que o tempo de permanência no estado 𝑖 era superior a 𝑠, ou
seja, P 𝑋 𝑡 + 𝑠 = 𝑖ȁ 𝑋 𝑠 = 𝑖 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 .
Suponha agora que o processo já tenha estado no estado 𝑖 por 𝑠 segundos;
então a probabilidade de gastar mais 𝑡 segundos neste estado é:
P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝑋 𝑠, > 𝑖, 0 ≤ 𝑠, ≤ 𝑠
desde que 𝜏𝑖 > 𝑠 implica que o sistema tem estado no estado 𝑖 durante o
intervalo de tempo 0, 𝑠 .
Por outras palavras, a distribuição da variável aleatória “tempo de permanência
num dado estado” é independente do tempo que o processo tenha já passado
nesse estado (propriedade da ausência de memória).
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Como a única distribuição contínua que goza desta propriedade é a distribuição
exponencial, concluímos que 𝜏𝑖 tem distribuição exponencial.
O tempo gasto no estado 𝒊 é uma variável aleatória exponencial com alguma média Τ𝟏
𝒗 𝒊:
P 𝜏𝑖 > 𝑡 = 𝑒 𝒗 𝒊 𝑡
O tempo médio de ocupação de estado Τ𝟏
𝒗 𝒊 irá geralmente ser diferente
para cada estado, também igual ao desvio padrão, e a variância ൗ𝟏
𝒗 𝒊
𝟐 .
O resultado acima nos dá uma outra maneira de olhar para cadeias de Markov
de tempo contínuo.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Tempos de ocupação
de estados
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A cada vez que um estado 𝑖 é alcançado, selecciona-se um tempo de
ocupação de estado 𝑇𝑖 exponencialmente distribuído.
Quando o tempo se esgota, o próximo estado 𝑗 é seleccionado de acordo com
uma cadeia de Markov de tempo discreto, com probabilidades de transição ෤𝑞𝑖𝑗 .
Então o novo tempo de ocupação de estado é seleccionado de acordo com 𝑇𝑗 ,
e assim por diante. Chamamos ෤𝑞𝑖𝑗 de uma cadeia de Markov embutida.
A distribuição exponencial goza de duas propriedades importantes:
✓ Ausência de memória, segundo a qual P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡
✓ Se a variável aleatória 𝜏 𝑚𝑖𝑛 for o mínimo de diferentes variáveis aleatórias
independentes 𝜏𝑖, 𝜏2, 𝜏3, … , 𝜏 𝑛 , cada um com distribuição
exponencial de parâmetro 𝑣𝑖 ( 𝑖 = 1,2, … , 𝑛 ), então 𝜏 𝑚𝑖𝑛 tem também
distribuição exponencial, sendo o parâmetro dado por: 𝒗 = σ 𝒗𝒊
.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Existem duas formas de representação: graficamente, através do “diagrama de
transições”, ou através de uma matriz quadrada 𝑃 que contem as taxas de
transição.
Num diagrama de transições cada estado é representado por um vértice, e
cada arco orientado ligando dois vértices representa uma transição possível
entre dois estados, sendo o coeficiente associado ao arco a respectiva taxa.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
REPRESENTAÇÃO
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Na matriz 𝑃, cada linha 𝑖 representa o estado actual e cada coluna j representa
o estado futuro (a ordem dos estados actuais deve ser igual à dos estados
futuros, respectivamente, nas linhas e nas colunas de 𝑃). Deste modo, o
elemento 𝑣𝑖𝑗 da matriz representa a taxa de transição do estado 𝑖 para o
estado 𝑗.
As taxas de transição 𝑣𝑖𝑗 são dadas por 𝑣𝑖𝑗 = 𝑣𝑖 𝑝𝑖𝑗 𝑖 ≠ 𝑗 , e portanto verifica-
se que σ 𝑗≠𝑖 𝑣𝑖𝑗 = 𝑣𝑖 σ 𝑗≠𝑖 𝑝𝑖𝑗 = 𝑣𝑖
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Taxa de transição e
Probabilidade de estados dependente
do tempo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
A probabilidade de o processo permanecer no estado 𝑖 durante o intervalo
(bastante curto) é 𝑃 𝜏𝑖 > 𝛿 = 𝑒 𝑣𝑖 𝛿 = 1 − 𝑣𝑖 𝛿 + 𝑜(𝛿) onde 𝑜(𝛿) denota os
termos que se tornam desprezíveis em relação à medida que 𝛿 → 0.
Uma vez que o processo deixa o estado 𝑖, ele entra no estado 𝑗 com
probabilidade 𝑝𝑖𝑗 𝛿 = 𝛾𝑖𝑗 𝛿 − 𝑜(𝛿), onde 𝛾𝑖𝑗 = 𝑣𝑖 ෤𝑞𝑖𝑗 a taxa na qual o processo
𝑋(𝑡) entra no estado 𝑗 partindo do estado 𝑖 e 𝑣𝑖 é a taxa de saída do estado 𝑖.
Equação de Chapman-Kolmogorov para cadeias de Markov de tempo
contínuo. 𝒑′𝒋 𝒕 = σ𝒊 𝜸𝒊𝒋 𝒑𝒊 𝒕 .
Se resolvemos a Equação acima com a suposição de que o sistema estava no
estado 𝑖 no instante inicial, isto é, com condição inicial 𝑝𝑖 0 = 1 e 𝑝𝑗 0 =
0 para todo 𝑖 ≠ 𝑗, então a solução é de fato 𝑝𝑖𝑗 𝑡 , a componente 𝑖𝑗 de 𝑃 𝑡 .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Equação de Balanço
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
No estudo das cadeias de Markov em tempo contínuo interessa conhecer as
probabilidades estacionárias (𝑡 → ∞) de o processo estar nos diferentes
estados 𝑝𝑗 .
À medida que 𝑡 → ∞ e as probabilidades dos estados do sistema convergem
para uma fmp que não depende das condições iniciais, é comportamento
(exemplo) típico de sistemas que alcançam uma condição de “equilíbrio” ou
“regime permanente”.
Para se obterem as probabilidades estacionárias, escrevem-se as chamadas
“equações de balanço” que traduzem a ideia de que, em equilíbrio, a taxa
média de saídas de um qualquer estado deve ser igual à taxa média de
entradas nesse mesmo estado.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Fórmula ou Equação de
Balanço Global
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Para tais sistemas, 𝑝𝑗 𝑡 → 𝑝𝑗 e 𝑝′ 𝑗 𝑡 → 0, lembrando que 𝛾𝑗𝑗 = −𝑣𝑗
𝑝𝑗 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖, se 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑗𝑖, então podemos reescrever:
𝑝𝑗 ෍
𝑖≠𝑗
𝛾𝑗𝑖 = ෍
𝑖≠𝑗
𝛾𝑖𝑗 𝑝𝑖
O sistema de equações lineares dado pela Equação acima é chamado de
Equações de Balanço Global.
À semelhança do que acontecia nas cadeias em tempo discreto, também o
sistema acima é indeterminado.
Encontram-se, então, as probabilidades estacionárias acrescentando a
equação seguinte: σ𝒋 𝒑𝒊 = 𝟏.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço são facilmente escritas a partir do diagrama de
transições, pois o facto de as transições de um qualquer estado só serem
possíveis para, no máximo, dois estados torna as equações bastante simples.
Consideremos o seguinte diagrama de transições:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Forma alternativa
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
As equações de balanço serão, então:
Estado 0: 𝑝0 𝛾01 = 𝛾10 𝑝1
Estado 1: 𝑝0 𝛾10 + 𝛾12 = 𝛾01 𝑝0 + 𝛾21 𝑝2
Estado 2: 𝑝2 𝛾21 + 𝛾23 = 𝛾12 𝑝1 + 𝛾32 𝑝3
⋮ ⋮ ⋮ ⋮
Estado 𝑛: 𝑝 𝑛 𝛾 𝑛,𝑛−1 + 𝛾 𝑛,𝑛+1 = 𝛾 𝑛−1,𝑛 𝑝 𝑛−1 + 𝛾 𝑛+1,𝑛 𝑝 𝑛+1
Equação de normalização σ 𝑗 𝑝𝑖 = 1
Através destas equações, verifica-se que, em equilíbrio, a probabilidade do
fluxo para fora do estado 𝑗, dada por 𝑝𝑗 𝑣𝑗, é igual à probabilidade do fluxo para
dentro do estado 𝑗.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Resolvendo este conjunto de equações lineares podemos obter a fmp dos
estados do sistema em regime permanente (quando existir).
Seja 𝑝 = 𝑝𝑖 a fmp estacionária dos estados da cadeia de Markov. Desde
que 𝑝 satisfaz a Equação de Chapman-Kolmogorov, se iniciamos a cadeia de
Markov com uma fmp inicial dada por 𝑝, então as probabilidades dos
estados serão: 𝒑𝒊 = 𝒑 𝒕 , ∀𝑡
O processo resultante é estacionário, desde que a probabilidade da sequência
de estados 𝑖0, 𝑖1, 𝑖2, … , 𝑖 𝑛 nos instantes 𝑡 < 𝑡1 + 𝑡 < 𝑡2 + 𝑡 < ⋯ < 𝑡 𝑛 + 𝑡, pela
equação:
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 𝑋 𝑡 = 𝑖0, 𝑋 𝑡1 + 𝑡 = 𝑖1, … , 𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛
= 𝑃 ȁ𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 𝑋 𝑡 𝑛−1 + 𝑡 = 𝑖 𝑛−1 ∗ ⋯ ∗ 𝑃 ȁ𝑋 𝑡1 + 𝑡 = 𝑖1 𝑋 𝑡 = 𝑖0
∗ 𝑃 𝑋 𝑡 = 𝑖0
Se as probabilidades de transição dependem somente da diferença entre os
tempos associados, então a probabilidade conjunta acima depende da escolha
da origem apenas através de 𝑃 𝑋 𝑡 = 𝑖0 ,sabendo que 𝑃 𝑋 𝑡 = 𝑖0 = 𝑝𝑖0 para
todo 𝑡.
Portanto concluímos que a probabilidade conjunta acima é independente da
escolha da origem dos tempos e que o processo é estacionário.
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Exemplo
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Uma máquina, integrada numa linha de produção, solda duas peças idênticas.
Sabe-se que o tempo entre duas chegadas consecutivas de peças à máquina
tem uma distribuição exponencial com média igual a um quarto de hora. Da
mesma forma, o tempo de soldagem segue uma distribuição exponencial com
média igual a meia hora.
Pretende-se construir uma cadeia de Markov que represente a situação
descrita, determinando as probabilidades estacionárias.
𝑋(𝑡) representar o número de peças na máquina no momento 𝑡.
O espaço de estados será, deste modo, 𝑋 = 0, 1, 2 .
Chegada de uma peça à máquina 𝑣 𝑐ℎ𝑒𝑔 = 4 Τ𝑝𝑒ç
ℎ e saída das duas peças
soldadas 𝑣 𝑠𝑎𝑖 = 2 Τ𝑝𝑒ç
ℎ .
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
𝑃 =
0 4 0
0 0 4
2 0 0
As transições 0 → 1 e 1 → 2 correspondem à chegada de
uma peça à máquina, enquanto a transição 2 → 0
corresponde à saída das peças soldadas.
Não se considera a possibilidade de haver a
transição 0 → 2 pelo facto de se considerar que só
ocorre um evento de cada vez.
A matriz que contem as taxas
de transição é a seguinte:
Exemplo
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
Equações de balanço:
estado 0: 4𝜋0 = 2𝜋2
estado 1: 4𝜋1 = 2𝜋0
estado 2: 4𝜋2 = 2𝜋1
Equação de normalização: 𝜋0 + 𝜋1 + 𝜋2 = 1
A solução do sistema é 𝜋0 = 0,25, 𝜋1 = 0,25 e 𝜋2 = 0,50.
Significa isto que, a máquina passa 25% do tempo com 0 ou 1 peça, e 50%
com 2 peças.
Para calcular as probabilidades estacionárias, escrevemos as equações de
balanço e a equação de normalização:
Exemplo
Cadeia de Markov em tempo Continuo
Probabilidades de Estados em Regime
Equações de Balanço Globais
Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos
BIBLIOGRAFIA
Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc.
Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth
Edition, McGraw-Hill.
Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley &
Sons.
Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons.
Winston, Wayne L. (1994), Operations Research – Applications and Algorithms,
Third Edition, Duxbury Press.
Testo base de processo estocástico: Apostila TP501 – Ynoguti 2011

Mais conteúdo relacionado

Mais procurados

Estatística
EstatísticaEstatística
Estatística
aldaalves
 
Aula 22 probabilidade - parte 1
Aula 22   probabilidade - parte 1Aula 22   probabilidade - parte 1
Aula de desenvolvimento de produtos
Aula de desenvolvimento de produtosAula de desenvolvimento de produtos
Aula de desenvolvimento de produtos
CENNE
 
Progressão aritmética
Progressão aritméticaProgressão aritmética
Progressão aritmética
leilamaluf
 
Noções de probabilidade
Noções de probabilidadeNoções de probabilidade
Exercícios Resolvidos: Teorema de Rolle
Exercícios Resolvidos: Teorema de RolleExercícios Resolvidos: Teorema de Rolle
Exercícios Resolvidos: Teorema de Rolle
Diego Oliveira
 
Problema da Mochila 0-1 (Knapsack problem)
Problema da Mochila 0-1 (Knapsack problem)Problema da Mochila 0-1 (Knapsack problem)
Problema da Mochila 0-1 (Knapsack problem)
Marcos Castro
 
6573278 pprobabilidade-descritiva
6573278 pprobabilidade-descritiva6573278 pprobabilidade-descritiva
6573278 pprobabilidade-descritiva
Luciano Alves
 
Sistemas de equações do 1⁰ grau revisão
Sistemas de equações do 1⁰ grau revisãoSistemas de equações do 1⁰ grau revisão
Sistemas de equações do 1⁰ grau revisão
Angela Costa
 
Sistemas de apoio à decisão - SAD
Sistemas de apoio à decisão - SADSistemas de apoio à decisão - SAD
Sistemas de apoio à decisão - SAD
José Luiz Wollinger
 
Exercícios Resolvidos: Taxa relacionada
Exercícios Resolvidos: Taxa relacionadaExercícios Resolvidos: Taxa relacionada
Exercícios Resolvidos: Taxa relacionada
Diego Oliveira
 
Notas de aula 1 cinematica mecanismos
Notas de aula 1 cinematica mecanismosNotas de aula 1 cinematica mecanismos
Notas de aula 1 cinematica mecanismos
Vanessa Santos
 
Aula 5 - Estruturas de seleção simples e composta - parte 1
Aula 5 - Estruturas de seleção simples e composta - parte 1Aula 5 - Estruturas de seleção simples e composta - parte 1
Aula 5 - Estruturas de seleção simples e composta - parte 1
Pacc UAB
 
Aula 4 - Teste de mesa
Aula 4 - Teste de mesaAula 4 - Teste de mesa
Aula 4 - Teste de mesa
Pacc UAB
 
Regra de três simples e composta
Regra de três simples e compostaRegra de três simples e composta
Regra de três simples e composta
Marcelo Pinheiro
 
Probabilidade - árvore de possibilidade
Probabilidade - árvore de possibilidadeProbabilidade - árvore de possibilidade
Probabilidade - árvore de possibilidade
Lucia Regina M de Carvalho
 
Cadeias de Markov
Cadeias de MarkovCadeias de Markov
Cadeias de Markov
Diego Damasceno
 
Estatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
Estatística Aplicada à Administração - Aula 02: Noções Básicas de ProbabilidadeEstatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
Estatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
Marcus Araújo
 
Pequeno teorema de fermat
Pequeno teorema de fermatPequeno teorema de fermat
Pequeno teorema de fermat
Universidade Federal de Pernambuco
 
Análise de Negócio na Perspectiva de BI
Análise de Negócio na Perspectiva de BIAnálise de Negócio na Perspectiva de BI
Análise de Negócio na Perspectiva de BI
Rildo (@rildosan) Santos
 

Mais procurados (20)

Estatística
EstatísticaEstatística
Estatística
 
Aula 22 probabilidade - parte 1
Aula 22   probabilidade - parte 1Aula 22   probabilidade - parte 1
Aula 22 probabilidade - parte 1
 
Aula de desenvolvimento de produtos
Aula de desenvolvimento de produtosAula de desenvolvimento de produtos
Aula de desenvolvimento de produtos
 
Progressão aritmética
Progressão aritméticaProgressão aritmética
Progressão aritmética
 
Noções de probabilidade
Noções de probabilidadeNoções de probabilidade
Noções de probabilidade
 
Exercícios Resolvidos: Teorema de Rolle
Exercícios Resolvidos: Teorema de RolleExercícios Resolvidos: Teorema de Rolle
Exercícios Resolvidos: Teorema de Rolle
 
Problema da Mochila 0-1 (Knapsack problem)
Problema da Mochila 0-1 (Knapsack problem)Problema da Mochila 0-1 (Knapsack problem)
Problema da Mochila 0-1 (Knapsack problem)
 
6573278 pprobabilidade-descritiva
6573278 pprobabilidade-descritiva6573278 pprobabilidade-descritiva
6573278 pprobabilidade-descritiva
 
Sistemas de equações do 1⁰ grau revisão
Sistemas de equações do 1⁰ grau revisãoSistemas de equações do 1⁰ grau revisão
Sistemas de equações do 1⁰ grau revisão
 
Sistemas de apoio à decisão - SAD
Sistemas de apoio à decisão - SADSistemas de apoio à decisão - SAD
Sistemas de apoio à decisão - SAD
 
Exercícios Resolvidos: Taxa relacionada
Exercícios Resolvidos: Taxa relacionadaExercícios Resolvidos: Taxa relacionada
Exercícios Resolvidos: Taxa relacionada
 
Notas de aula 1 cinematica mecanismos
Notas de aula 1 cinematica mecanismosNotas de aula 1 cinematica mecanismos
Notas de aula 1 cinematica mecanismos
 
Aula 5 - Estruturas de seleção simples e composta - parte 1
Aula 5 - Estruturas de seleção simples e composta - parte 1Aula 5 - Estruturas de seleção simples e composta - parte 1
Aula 5 - Estruturas de seleção simples e composta - parte 1
 
Aula 4 - Teste de mesa
Aula 4 - Teste de mesaAula 4 - Teste de mesa
Aula 4 - Teste de mesa
 
Regra de três simples e composta
Regra de três simples e compostaRegra de três simples e composta
Regra de três simples e composta
 
Probabilidade - árvore de possibilidade
Probabilidade - árvore de possibilidadeProbabilidade - árvore de possibilidade
Probabilidade - árvore de possibilidade
 
Cadeias de Markov
Cadeias de MarkovCadeias de Markov
Cadeias de Markov
 
Estatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
Estatística Aplicada à Administração - Aula 02: Noções Básicas de ProbabilidadeEstatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
Estatística Aplicada à Administração - Aula 02: Noções Básicas de Probabilidade
 
Pequeno teorema de fermat
Pequeno teorema de fermatPequeno teorema de fermat
Pequeno teorema de fermat
 
Análise de Negócio na Perspectiva de BI
Análise de Negócio na Perspectiva de BIAnálise de Negócio na Perspectiva de BI
Análise de Negócio na Perspectiva de BI
 

Mais de Wadiley Nascimento

Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023
Wadiley Nascimento
 
Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)
Wadiley Nascimento
 
Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)
Wadiley Nascimento
 
Aula - Amostragem.pdf
Aula - Amostragem.pdfAula - Amostragem.pdf
Aula - Amostragem.pdf
Wadiley Nascimento
 
Aula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdfAula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdf
Wadiley Nascimento
 
Aula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdfAula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdf
Wadiley Nascimento
 
Aula - Distribuições Discretas
Aula - Distribuições DiscretasAula - Distribuições Discretas
Aula - Distribuições Discretas
Wadiley Nascimento
 
Aula - Variável Aleatória
Aula - Variável AleatóriaAula - Variável Aleatória
Aula - Variável Aleatória
Wadiley Nascimento
 
Aula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdfAula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdf
Wadiley Nascimento
 
Resumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdfResumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdf
Wadiley Nascimento
 
Resumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdfResumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdf
Wadiley Nascimento
 
Resumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdfResumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdf
Wadiley Nascimento
 
Resumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdfResumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdf
Wadiley Nascimento
 
Resumo - Sucessão.pdf
Resumo - Sucessão.pdfResumo - Sucessão.pdf
Resumo - Sucessão.pdf
Wadiley Nascimento
 
Estatística II
Estatística IIEstatística II
Estatística II
Wadiley Nascimento
 
Métodos Econométricos I
Métodos Econométricos IMétodos Econométricos I
Métodos Econométricos I
Wadiley Nascimento
 
Estatística II para Economia e Getão
Estatística II para Economia e GetãoEstatística II para Economia e Getão
Estatística II para Economia e Getão
Wadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
Wadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
Wadiley Nascimento
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
Wadiley Nascimento
 

Mais de Wadiley Nascimento (20)

Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023Teste de Métodos Quantitativos I - 09-11-2023
Teste de Métodos Quantitativos I - 09-11-2023
 
Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)Aula - Inferência Estatística (Estimação)
Aula - Inferência Estatística (Estimação)
 
Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)Aula - Inferência Estatística (Teste de Hipóteses)
Aula - Inferência Estatística (Teste de Hipóteses)
 
Aula - Amostragem.pdf
Aula - Amostragem.pdfAula - Amostragem.pdf
Aula - Amostragem.pdf
 
Aula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdfAula - Tamanho da Amostra.pdf
Aula - Tamanho da Amostra.pdf
 
Aula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdfAula - Distribuição Normal.pdf
Aula - Distribuição Normal.pdf
 
Aula - Distribuições Discretas
Aula - Distribuições DiscretasAula - Distribuições Discretas
Aula - Distribuições Discretas
 
Aula - Variável Aleatória
Aula - Variável AleatóriaAula - Variável Aleatória
Aula - Variável Aleatória
 
Aula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdfAula - Noções de Probabilidade.pdf
Aula - Noções de Probabilidade.pdf
 
Resumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdfResumo - Métodos Quantitativos I.pdf
Resumo - Métodos Quantitativos I.pdf
 
Resumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdfResumo - Série Geométrica.pdf
Resumo - Série Geométrica.pdf
 
Resumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdfResumo - Progressão Geométrica.pdf
Resumo - Progressão Geométrica.pdf
 
Resumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdfResumo - Progressão Aritmética.pdf
Resumo - Progressão Aritmética.pdf
 
Resumo - Sucessão.pdf
Resumo - Sucessão.pdfResumo - Sucessão.pdf
Resumo - Sucessão.pdf
 
Estatística II
Estatística IIEstatística II
Estatística II
 
Métodos Econométricos I
Métodos Econométricos IMétodos Econométricos I
Métodos Econométricos I
 
Estatística II para Economia e Getão
Estatística II para Economia e GetãoEstatística II para Economia e Getão
Estatística II para Economia e Getão
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 
Exercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre MatrizesExercícios Resolvidos sobre Matrizes
Exercícios Resolvidos sobre Matrizes
 

Cadeia de Markov em Tempo Contínuo

  • 2. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Introdução Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Qualquer sistema real opera sempre em ambientes onde a incerteza impera, principalmente quando o sistema envolve, pela sua natureza, acções humanas imprevisíveis ou avarias de máquinas. Assim, recorre-se a Processos Estocásticos como uma forma de tratar quantitativamente estes fenómenos, aproveitando certas características de regularidade que eles apresentam para serem descritos por modelos probabilísticos. O conceito matemático dos processos estocásticos tem-se revelado adequado para descrever alguns fenómenos físicos, e não só, ou seja, fenómeno que varia em algum grau, de forma imprevisível, aleatória, à medida que o tempo passa .
  • 3. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Conceito Estocástico Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Processo Estocástico, 𝑿 𝒕 : é um modelo matemático utilizado para o estudo de fenómenos aleatórios que têm como resultados funções em função de tempo. Função aleatória do tempo para modelar formas de onda desconhecidas Função amostra x 𝒕, 𝒔 : Função do tempo associada com o resultado 𝒔 de um experimento. Ensemble: Conjunto de todas as possíveis funções do tempo que podem resultar de um experimento.
  • 4. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Processo de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos O processo de Markov (Andrei Andrevevich Markov) é um exemplo de um processo estocástico em que a probabilidade de um sistema estar num estado 𝑖 num período 𝑛 + 1, depende do estado em que estava no período 𝑛. Um processo aleatório 𝑋 𝑡 é um processo de Markov (ou Memoryless process “processo sem memória”) se o futuro, dado o presente, é independente do passado, isto é, para instantes arbitrários 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡 𝑛−1 = 𝑥 𝑛−1, … , 𝑋 𝑡1 = 𝑥1 = 𝑃 𝑎 < 𝑋 𝑡 𝑛+1 ≤ ȁ𝑏 𝑋 𝑡 𝑛 = 𝑥 𝑛 se 𝑋 𝑡 assume valores contínuos. Se as amostras de 𝑋 𝑡 são conjuntamente contínuas, então a equação anterior é equivalente a: 𝑓𝑋 𝑡 𝑛+1 ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛, … , 𝑋 𝑡1 = 𝑥1 = 𝑓𝑋 𝑡 𝑛+1 ȁ𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 .
  • 5. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Processo de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Um processo de Markov que assume somente valores inteiros é chamado de Cadeia de Markov. A fmp (Função Massa de Probabilidade) conjunta para 𝑘 + 1 instantes de tempo arbitrários de uma cadeia de Markov é dada pela equação seguinte independentemente de ser ou não de tempo continuo: 𝑃 𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1, 𝑋 𝑡 𝑛 = 𝑥 𝑛, 𝑋 𝑡1 = 𝑥1 = 𝑃ሾ ሿ ȁ𝑋 𝑡 𝑛+1 = 𝑥 𝑛+1 𝑋 𝑡 𝑛 = 𝑥 𝑛 …𝑃 ȁ𝑋 𝑡2 = 𝑥2 𝑋 𝑡1 = 𝑥1 𝑃 𝑋 𝑡1 = 𝑥1 .
  • 6. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Definição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Uma Cadeia de Markov em Tempo Contínuo é, como a designação indica, uma cadeia de Markov em que a variável tempo é contínua, representando instantes ou momentos do tempo (e não períodos no tempo como no ponto anterior). Assim, uma cadeia de Markov em tempo contínuo é um processo estocástico 𝑋 𝑡 , 𝑡 > 0 com a propriedade de Markov, ou seja, a probabilidade de o processo estar no estado 𝑗 num momento futuro depende apenas do estado presente e não dos estados visitados em qualquer momento passado. Um processo estocástico 𝑋 𝑡 forma uma Cadeia de Markov de Tempo Contínuo se, para todo inteiro n e qualquer sequência 𝑡1, 𝑡2, … , 𝑡 𝑛, 𝑡 𝑛+1
  • 7. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Definição Probabilidade de Transição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos tal que 𝑡1 < 𝑡2 < ⋯ < 𝑡 𝑛 < 𝑡 𝑛+1, tem-se, 𝑃 ȁ𝑋 𝑡 𝑛+1 = 𝑖 𝑛+1 𝑋 𝑡1 = 𝑖1, 𝑋 𝑡2 = 𝑖2, … , 𝑋 𝑡 𝑛 = 𝑖 𝑛 = 𝑷 ȁ𝑿 𝒕 𝒏+𝟏 = 𝒊 𝒏+𝟏 𝑿 𝒕 𝒏 = 𝒊 𝒏 A equação da cadeia de Markov, requer que saibamos as probabilidades de transição no intervalo entre um instante de tempo arbitrário 𝑠 e outro instante de tempo arbitrário 𝑠 + 𝑡: 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , t ≥ 0 Se as probabilidades de transição dependem somente da diferença entre os dois instantes de tempo: 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 = 𝑃 ȁ𝑋 𝑡 = 𝑗 𝑋 0 = 𝑖 = 𝑝𝑖𝑗, t ≥ 0, ∀𝑠. Dizemos que 𝑋 𝑡 tem probabilidades de transição homogéneas.
  • 8. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Probabilidade de Transição Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Teorema da probabilidades de transição. Seja P 𝑡 = 𝑝𝑖𝑗 𝑡 a matriz de probabilidades de transição em um intervalo de comprimento 𝑡. Desde que 𝑝𝑖𝑖 0 = 1 e 𝑝𝑖𝑗 0 = 0 para 𝑖 ≠ 𝑗, temos: onde 𝑰 é a matriz.𝐏 𝟎 = 𝑰 Cadeias Homogéneas: • probabilidade de transição não depende nem da sequência de estados e nem do intervalo; depende apenas do tamanho do intervalo: 𝒑𝒊𝒋 𝒕 ≜ 𝑷 ȁ𝑿 𝒔 + 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 = 𝒑𝒊𝒋 0, 𝑡 Cadeias Não Homogéneas: • probabilidade de transição não depende da sequência de estados mas depende do intervalo em si (i.e., depende dos instantes inicial e final). 𝒑𝒊𝒋 𝒔, 𝒕 ≜ 𝑷 ȁ𝑿 𝒕 = 𝒋 𝑿 𝒔 = 𝒊 , 𝑡 ≥ 𝑠
  • 9. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Consideremos um vector-probabilidade num processo estocástico que é denotado por 𝑋 𝑡 = 𝑥1 𝑡 𝑥2 𝑡 𝑥3 𝑡 𝑥 𝑛 𝑡 em que 𝑥𝑖 𝑡 é a probabilidade com que o sistema esteja no estado 𝑖 no instante 𝑡, para 𝑖 = 1,2,3, … , 𝑛. Vale lembrar que σ𝑖=1 𝑛 𝑥𝑖 𝑡 = 1. Uma Matriz de Transição é uma matriz quadrada de ordem 𝑷 𝒏𝐱𝒏 = 𝒑𝒊𝒋 onde cada 𝑝𝑖𝑗 é a probabilidade de que haja uma transição do estado i para o estado j. A probabilidade de 𝑋 𝑛+1 estar no estado 𝑗 dado que 𝑋 𝑛 está no estado 𝑖 é chamada probabilidade de transição de um passo e é denotada por: 𝑃𝑖𝑗 𝑛,𝑛+1
  • 10. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Isto é: 𝑃𝑖𝑗 𝑛,𝑛+1 = 𝑃 𝑋 𝑛+1 = 𝑗ȁ 𝑋 𝑛 = 𝑖 Esta notação enfatiza que, em geral, as probabilidades de transição são funções não somente dos estados inicial e final, mas também do tempo de transição. Quando as probabilidades de transição em um passo são independentes da variável do tempo 𝒏 , dizemos que a Cadeia de Markov tem probabilidades de transição estacionárias. Então 𝑃𝑖𝑗 𝑛,𝑛+1 = 𝑃𝑖𝑗 é independente de 𝑛 e 𝑃𝑖𝑗 é a probabilidade condicional que o valor do estado transite de 𝑖 a 𝑗 em uma tentativa. Pode-se visualizar as quantidades 𝑃𝑖𝑗 de forma matricial:
  • 11. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A análise de uma Cadeia de Markov caracteriza-se principalmente pelo cálculo das probabilidades de transições em 𝑛 passos. São as matrizes de probabilidades de transição em 𝑛 passos, P(𝑛) = 𝑃𝑖𝑗 (𝑛) onde 𝑃𝑖𝑗 (𝑛) denota a probabilidade que o processo vá do estado 𝑖 para o estado 𝑗 em 𝑛 transições. Formalmente, 𝑃𝑖𝑗 (𝑛) = 𝑃 ȁ𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖 . 𝑃00 𝑃01 𝑃10 𝑃11 ⋯ 𝑃0𝑗 ⋯ 𝑃1𝑗 ⋮ ⋮ 𝑃𝑖0 𝑃𝑖1 ⋱ ⋮ ⋯ 𝑃𝑖𝑗 E chamamos 𝐏 = 𝑷𝒊𝒋 Matriz de Markov ou Matriz de Probabilidades de Transição.
  • 12. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Matriz de Markov Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Teorema das Potências da Matriz de Transição: Seja 𝑃 a matriz de transição de um processo em cadeia de Markov, a matriz de transição para 𝑛 estágios e igual a 𝑛-ésima potência de 𝑃: 𝑃(𝑛) = 𝑃 ∗ 𝑃 ∗ 𝑃 ∗ ⋯ ∗ 𝑃 = 𝑃 𝑛 Propriedade do tempo de ocupação de estados: Um processo aleatório, em que num dado tempo, o sistema 𝑋(𝑡) permanece em um dado valor (estado) para cada intervalo de tempo aleatório exponencialmente distribuído. O processo permanece no estado 𝑖 entre os instantes 0 e 𝑡 se e só se o tempo de permanência no estado 𝑖 for superior a 𝑡, ou seja, P 𝑋 𝑡 = 𝑖ȁ 𝑋 0 = 𝑖 = P 𝜏𝑖 > 𝑡ȁ 𝜏𝑖 > 0 = P 𝜏𝑖 > 𝑡 Por outro lado, o sistema permanece no estado 𝑖 entre os instantes 𝑠 e 𝑡 + 𝑠 se e só se o tempo necessário para que o sistema saia do estado 𝑖 for superior
  • 13. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos a 𝑡 + 𝑠 , dado que o tempo de permanência no estado 𝑖 era superior a 𝑠, ou seja, P 𝑋 𝑡 + 𝑠 = 𝑖ȁ 𝑋 𝑠 = 𝑖 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 . Suponha agora que o processo já tenha estado no estado 𝑖 por 𝑠 segundos; então a probabilidade de gastar mais 𝑡 segundos neste estado é: P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝑋 𝑠, > 𝑖, 0 ≤ 𝑠, ≤ 𝑠 desde que 𝜏𝑖 > 𝑠 implica que o sistema tem estado no estado 𝑖 durante o intervalo de tempo 0, 𝑠 . Por outras palavras, a distribuição da variável aleatória “tempo de permanência num dado estado” é independente do tempo que o processo tenha já passado nesse estado (propriedade da ausência de memória).
  • 14. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Como a única distribuição contínua que goza desta propriedade é a distribuição exponencial, concluímos que 𝜏𝑖 tem distribuição exponencial. O tempo gasto no estado 𝒊 é uma variável aleatória exponencial com alguma média Τ𝟏 𝒗 𝒊: P 𝜏𝑖 > 𝑡 = 𝑒 𝒗 𝒊 𝑡 O tempo médio de ocupação de estado Τ𝟏 𝒗 𝒊 irá geralmente ser diferente para cada estado, também igual ao desvio padrão, e a variância ൗ𝟏 𝒗 𝒊 𝟐 . O resultado acima nos dá uma outra maneira de olhar para cadeias de Markov de tempo contínuo.
  • 15. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Tempos de ocupação de estados Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A cada vez que um estado 𝑖 é alcançado, selecciona-se um tempo de ocupação de estado 𝑇𝑖 exponencialmente distribuído. Quando o tempo se esgota, o próximo estado 𝑗 é seleccionado de acordo com uma cadeia de Markov de tempo discreto, com probabilidades de transição ෤𝑞𝑖𝑗 . Então o novo tempo de ocupação de estado é seleccionado de acordo com 𝑇𝑗 , e assim por diante. Chamamos ෤𝑞𝑖𝑗 de uma cadeia de Markov embutida. A distribuição exponencial goza de duas propriedades importantes: ✓ Ausência de memória, segundo a qual P 𝜏𝑖 > 𝑡 + 𝑠ȁ 𝜏𝑖 > 𝑠 = P 𝜏𝑖 > 𝑡 ✓ Se a variável aleatória 𝜏 𝑚𝑖𝑛 for o mínimo de diferentes variáveis aleatórias independentes 𝜏𝑖, 𝜏2, 𝜏3, … , 𝜏 𝑛 , cada um com distribuição exponencial de parâmetro 𝑣𝑖 ( 𝑖 = 1,2, … , 𝑛 ), então 𝜏 𝑚𝑖𝑛 tem também distribuição exponencial, sendo o parâmetro dado por: 𝒗 = σ 𝒗𝒊 .
  • 16. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais REPRESENTAÇÃO Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Existem duas formas de representação: graficamente, através do “diagrama de transições”, ou através de uma matriz quadrada 𝑃 que contem as taxas de transição. Num diagrama de transições cada estado é representado por um vértice, e cada arco orientado ligando dois vértices representa uma transição possível entre dois estados, sendo o coeficiente associado ao arco a respectiva taxa.
  • 17. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais REPRESENTAÇÃO Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Na matriz 𝑃, cada linha 𝑖 representa o estado actual e cada coluna j representa o estado futuro (a ordem dos estados actuais deve ser igual à dos estados futuros, respectivamente, nas linhas e nas colunas de 𝑃). Deste modo, o elemento 𝑣𝑖𝑗 da matriz representa a taxa de transição do estado 𝑖 para o estado 𝑗. As taxas de transição 𝑣𝑖𝑗 são dadas por 𝑣𝑖𝑗 = 𝑣𝑖 𝑝𝑖𝑗 𝑖 ≠ 𝑗 , e portanto verifica- se que σ 𝑗≠𝑖 𝑣𝑖𝑗 = 𝑣𝑖 σ 𝑗≠𝑖 𝑝𝑖𝑗 = 𝑣𝑖
  • 18. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Taxa de transição e Probabilidade de estados dependente do tempo Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos A probabilidade de o processo permanecer no estado 𝑖 durante o intervalo (bastante curto) é 𝑃 𝜏𝑖 > 𝛿 = 𝑒 𝑣𝑖 𝛿 = 1 − 𝑣𝑖 𝛿 + 𝑜(𝛿) onde 𝑜(𝛿) denota os termos que se tornam desprezíveis em relação à medida que 𝛿 → 0. Uma vez que o processo deixa o estado 𝑖, ele entra no estado 𝑗 com probabilidade 𝑝𝑖𝑗 𝛿 = 𝛾𝑖𝑗 𝛿 − 𝑜(𝛿), onde 𝛾𝑖𝑗 = 𝑣𝑖 ෤𝑞𝑖𝑗 a taxa na qual o processo 𝑋(𝑡) entra no estado 𝑗 partindo do estado 𝑖 e 𝑣𝑖 é a taxa de saída do estado 𝑖. Equação de Chapman-Kolmogorov para cadeias de Markov de tempo contínuo. 𝒑′𝒋 𝒕 = σ𝒊 𝜸𝒊𝒋 𝒑𝒊 𝒕 . Se resolvemos a Equação acima com a suposição de que o sistema estava no estado 𝑖 no instante inicial, isto é, com condição inicial 𝑝𝑖 0 = 1 e 𝑝𝑗 0 = 0 para todo 𝑖 ≠ 𝑗, então a solução é de fato 𝑝𝑖𝑗 𝑡 , a componente 𝑖𝑗 de 𝑃 𝑡 .
  • 19. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Equação de Balanço Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos No estudo das cadeias de Markov em tempo contínuo interessa conhecer as probabilidades estacionárias (𝑡 → ∞) de o processo estar nos diferentes estados 𝑝𝑗 . À medida que 𝑡 → ∞ e as probabilidades dos estados do sistema convergem para uma fmp que não depende das condições iniciais, é comportamento (exemplo) típico de sistemas que alcançam uma condição de “equilíbrio” ou “regime permanente”. Para se obterem as probabilidades estacionárias, escrevem-se as chamadas “equações de balanço” que traduzem a ideia de que, em equilíbrio, a taxa média de saídas de um qualquer estado deve ser igual à taxa média de entradas nesse mesmo estado.
  • 20. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Fórmula ou Equação de Balanço Global Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Para tais sistemas, 𝑝𝑗 𝑡 → 𝑝𝑗 e 𝑝′ 𝑗 𝑡 → 0, lembrando que 𝛾𝑗𝑗 = −𝑣𝑗 𝑝𝑗 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖, se 𝑣𝑗 = σ𝑖≠𝑗 𝛾𝑗𝑖, então podemos reescrever: 𝑝𝑗 ෍ 𝑖≠𝑗 𝛾𝑗𝑖 = ෍ 𝑖≠𝑗 𝛾𝑖𝑗 𝑝𝑖 O sistema de equações lineares dado pela Equação acima é chamado de Equações de Balanço Global. À semelhança do que acontecia nas cadeias em tempo discreto, também o sistema acima é indeterminado. Encontram-se, então, as probabilidades estacionárias acrescentando a equação seguinte: σ𝒋 𝒑𝒊 = 𝟏.
  • 21. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Forma alternativa Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos As equações de balanço são facilmente escritas a partir do diagrama de transições, pois o facto de as transições de um qualquer estado só serem possíveis para, no máximo, dois estados torna as equações bastante simples. Consideremos o seguinte diagrama de transições:
  • 22. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Forma alternativa Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos As equações de balanço serão, então: Estado 0: 𝑝0 𝛾01 = 𝛾10 𝑝1 Estado 1: 𝑝0 𝛾10 + 𝛾12 = 𝛾01 𝑝0 + 𝛾21 𝑝2 Estado 2: 𝑝2 𝛾21 + 𝛾23 = 𝛾12 𝑝1 + 𝛾32 𝑝3 ⋮ ⋮ ⋮ ⋮ Estado 𝑛: 𝑝 𝑛 𝛾 𝑛,𝑛−1 + 𝛾 𝑛,𝑛+1 = 𝛾 𝑛−1,𝑛 𝑝 𝑛−1 + 𝛾 𝑛+1,𝑛 𝑝 𝑛+1 Equação de normalização σ 𝑗 𝑝𝑖 = 1 Através destas equações, verifica-se que, em equilíbrio, a probabilidade do fluxo para fora do estado 𝑗, dada por 𝑝𝑗 𝑣𝑗, é igual à probabilidade do fluxo para dentro do estado 𝑗.
  • 23. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Resolvendo este conjunto de equações lineares podemos obter a fmp dos estados do sistema em regime permanente (quando existir). Seja 𝑝 = 𝑝𝑖 a fmp estacionária dos estados da cadeia de Markov. Desde que 𝑝 satisfaz a Equação de Chapman-Kolmogorov, se iniciamos a cadeia de Markov com uma fmp inicial dada por 𝑝, então as probabilidades dos estados serão: 𝒑𝒊 = 𝒑 𝒕 , ∀𝑡 O processo resultante é estacionário, desde que a probabilidade da sequência de estados 𝑖0, 𝑖1, 𝑖2, … , 𝑖 𝑛 nos instantes 𝑡 < 𝑡1 + 𝑡 < 𝑡2 + 𝑡 < ⋯ < 𝑡 𝑛 + 𝑡, pela equação:
  • 24. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos 𝑃 𝑋 𝑡 = 𝑖0, 𝑋 𝑡1 + 𝑡 = 𝑖1, … , 𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 = 𝑃 ȁ𝑋 𝑡 𝑛 + 𝑡 = 𝑖 𝑛 𝑋 𝑡 𝑛−1 + 𝑡 = 𝑖 𝑛−1 ∗ ⋯ ∗ 𝑃 ȁ𝑋 𝑡1 + 𝑡 = 𝑖1 𝑋 𝑡 = 𝑖0 ∗ 𝑃 𝑋 𝑡 = 𝑖0 Se as probabilidades de transição dependem somente da diferença entre os tempos associados, então a probabilidade conjunta acima depende da escolha da origem apenas através de 𝑃 𝑋 𝑡 = 𝑖0 ,sabendo que 𝑃 𝑋 𝑡 = 𝑖0 = 𝑝𝑖0 para todo 𝑡. Portanto concluímos que a probabilidade conjunta acima é independente da escolha da origem dos tempos e que o processo é estacionário.
  • 25. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Exemplo Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Uma máquina, integrada numa linha de produção, solda duas peças idênticas. Sabe-se que o tempo entre duas chegadas consecutivas de peças à máquina tem uma distribuição exponencial com média igual a um quarto de hora. Da mesma forma, o tempo de soldagem segue uma distribuição exponencial com média igual a meia hora. Pretende-se construir uma cadeia de Markov que represente a situação descrita, determinando as probabilidades estacionárias. 𝑋(𝑡) representar o número de peças na máquina no momento 𝑡. O espaço de estados será, deste modo, 𝑋 = 0, 1, 2 . Chegada de uma peça à máquina 𝑣 𝑐ℎ𝑒𝑔 = 4 Τ𝑝𝑒ç ℎ e saída das duas peças soldadas 𝑣 𝑠𝑎𝑖 = 2 Τ𝑝𝑒ç ℎ .
  • 26. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos 𝑃 = 0 4 0 0 0 4 2 0 0 As transições 0 → 1 e 1 → 2 correspondem à chegada de uma peça à máquina, enquanto a transição 2 → 0 corresponde à saída das peças soldadas. Não se considera a possibilidade de haver a transição 0 → 2 pelo facto de se considerar que só ocorre um evento de cada vez. A matriz que contem as taxas de transição é a seguinte: Exemplo
  • 27. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos Equações de balanço: estado 0: 4𝜋0 = 2𝜋2 estado 1: 4𝜋1 = 2𝜋0 estado 2: 4𝜋2 = 2𝜋1 Equação de normalização: 𝜋0 + 𝜋1 + 𝜋2 = 1 A solução do sistema é 𝜋0 = 0,25, 𝜋1 = 0,25 e 𝜋2 = 0,50. Significa isto que, a máquina passa 25% do tempo com 0 ou 1 peça, e 50% com 2 peças. Para calcular as probabilidades estacionárias, escrevemos as equações de balanço e a equação de normalização: Exemplo
  • 28. Cadeia de Markov em tempo Continuo Probabilidades de Estados em Regime Equações de Balanço Globais Made by Wadiley Nascimento Site: https://www.osfactosmatematicos.blogspot.com Facebook: https://www.facebook.com/factosmatematicos BIBLIOGRAFIA Çinlar, Erhan (1975), Introduction to Stochastic Processes, Prentice-Hall, Inc. Hillier, G. and J. Lieberman (1995), Introduction to Operations Research, Sixth Edition, McGraw-Hill. Kleinrock, Leonard (1975), Queueing Systems (Vol. I: Theory), John Wiley & Sons. Ross, Sheldon M. (1983), Stochastic Processes, John Wiley & Sons. Winston, Wayne L. (1994), Operations Research – Applications and Algorithms, Third Edition, Duxbury Press. Testo base de processo estocástico: Apostila TP501 – Ynoguti 2011