O documento apresenta uma introdução aos processos estocásticos e cadeias de Markov, abordando conceitos como matrizes estocásticas, o matemático Andrei Markov, métodos para modelagem de cadeias de Markov, classes de estados e aplicações destes processos em diversas áreas.

1. PROCESSOS
ESTOCÁSTICOS
Turma 2015.1
Profº Mario Jorge

2. Grupo:
Gabryelle Carvalho
Luana Miranda
Maria Lívia Gava
Marcolino Souza
Raiano Martins

3. Índice
Introdução
Teoria da Probabilidade
Matrizes Estocásticas
Andrei Markov
Cadeia de Markov
Método 1
Método 2
Classe de Estados
Aplicações

4. Introdução
Processos estocásticos são um campo que vêm ganhando
grande interesse, devido a diversidade de problemas cuja modelagem
inclui algum aspecto probabilístico.
Constituem um ramo da Teoria da Probabilidade, onde se
define um conjunto diverso de modelos que permitem, nas situações
mais frequentes e de interesse prático, realizar o estudo dos
fenômenos aleatórios que evoluem de acordo com o tempo.

5. Introdução
Processos Estocásticos podem ser definidos como funções que
variam de acordo com o tempo, ou seja, para cada instante de tempo,
o objeto em estudo toma um estado, e a variação entre estes estados
é aleatória. Sendo o número de estados que este objeto pode ter, um
número finito.
De forma simplificada, podemos dizer que processos
estocásticos são processos aleatórios que dependem do tempo.
Intuitivamente, se uma variável aleatória é um número real que
varia aleatoriamente, um processo estocástico é uma função temporal
que varia aleatoriamente.

6. Podem ser classificados como:
 Processos de Tempo Contínuo: A variável pode mudar o seu
valor em qualquer momento de tempo.
Processos de Tempo Discreto: A variável somente pode alterar o
seu valor a intervalos fixos de tempo.
Variável Contínua: A variável pode assumir qualquer valor dentro
de um determinado intervalo.
Variável Discreta: A variável pode assumir apenas alguns valores
discretos.
Processos Estacionários: A média e variância são constantes no
tempo.
Processos não-estacionários: O valor esperado da variável
aleatória pode crescer sem limite e sua variância aumenta com o
tempo.

7. Teoria das Probabilidades
Surgiu por volta do século XVII, a partir da necessidade de um
método racional para calcular riscos em jogos de azar.
Cardano (1501-1576), no livro Liber de Ludo Aleae, foi o primeiro que
estudou as probabilidades associadas ao arremesso de dados e jogos
de azar.
Pierre-Simon Laplace (1774) fez a primeira tentativa de deduzir uma
regra para a combinação de observações dos princípios da teoria das
probabilidades.

8. Propriedades Gerais
Seja A um experimento aleatório e Ω o espaço amostral associado a
A. Para cada evento A associa-se um número real P(A), o qual indica
a probabilidade de A ocorrer .
Assim, se A e B são eventos do espaço ,Ω temos as seguintes
propriedades:
0 ≤ P(A) ≤ 1
P(Ω) = 1
P(AUB) = P(A) + P(B) – P(A∩B)
P(A*) = 1 – P(A)
Se A e B são eventos mutuamente excludentes, então:
P(AUB) = P(A) + P(B)

9. Operações com eventos

10. Tipos de Probabilidade
Probabilidade Clássica
É aplicada quando o espaço amostral Ω é finito e os eventos
elementares w são equiprováveis. Ou seja, eles têm a mesma
probabilidade de ocorrer. Se A é um evento qualquer em Ω temos que
a probabilidade de A será dada por:
P(A) =
n° de resultados favoráveis a ocorrência de A
n° de resultados possíveis
Ex.: Probabilidade de tirar o número 4 em um dado:
n° resultados favoráveis p/ 4__ = _1_
n° de resultados possíveis no dado 6

11. Tipos de Probabilidade
Probabilidade Frequentista
Em situações em que os elementos do espaço amostral não
são igualmente prováveis, a probabilidade de ocorrer o evento A pode
ser calculada pela noção de frequência relativa.
ƒ(A) =
no. de vezes que A ocorreu
no. total de repetições do experimento
=
nA
n

12. Tipos de Probabilidade
Probabilidade Condicional
A probabilidade de um evento (A) ocorrer depende da condição
da probabilidade de (B) ocorrer.
Gerando a regra da multiplicação:
P(A ∩ B) = P(B) x P(A|B) = P(A) x P(B|A)

13. Matrizes estocásticas
Uma matriz estocástica (também chamada matriz de probabilidade,
matriz de transição, matriz de substituição, ou matriz Markov) é uma
matriz usada para representar as transições de uma cadeia de Markov.
Cada um de seus valores é um número real positivo que representa uma
probabilidade de determinado evento acontecer.

14. Vetor Probabilidade
Um vetor de probabilidades ou vetor estocástico é um vetor
com valores de entrada positivos e que a soma de suas
componentes seja 1.

15. Cada linha representa um vetor estocástico (também chamado de
vetor de probabilidade)e cada coluna os componentes desses
vetores.

16. Matriz Estocástica Regular
Um caso especial de uma matriz estocástica. Uma matriz
estocástica A é dita ser regular, se todos os elementos de pelo menos
uma potência específica de A são positivos e diferentes de zero.
Matrizes regulares são importantes para o cálculo de probabilidades
de processos dependentes (cadeias de Markov). Para uma matriz
regular sempre uma matriz inversa existe, o que satisfaz a seguinte
equação: A x A^(-1) = A^(-1) x A = I.

17. Andrei Markov
 14 de junho de 1856 – 20 de julho de 1922
 Matemático russo que formou-se na Universidade Estatal de
St Petersburgo.
 Seus primeiros trabalhos foram limite de integrais e teoria da
aproximação.
 Depois de 1900, Markov aplicou métodos de frações
contínuas na teoria da probabilidade.
 Ficou conhecido por provar o teorema do limite central e ter
criado as “Cadeias de Markov”.

18. Cadeias de Markov
A probabilidade de qualquer comportamento futuro do processo,
quando o seu estado atual é conhecido exatamente, não é alterada
pelo conhecimento adicional sobre seu comportamento passado
Também denominado de “memoryless process” (processo sem
memória), uma vez que o passado é "esquecido" (desprezado).
Se o conjunto de índice for discreto então a propriedade da cadeia
de Markov é dada da seguinte forma:

19. Cadeias de Markov
Este processo pode assumir estados X[1],X[2],...X[n], de tal modo
que a probabilidade de transição de um estado X[i] para um estado X[j]
seja P[ij] (um número que só depende de X[i] e X[j]).

20. Cadeias de Markov: Método 1
A multiplicação sucessiva das matrizes por elas mesmas dão as
probabilidades em tempos futuros.
A soma de cada linha deve ser igual a 1.
Todos os elementos devem ser maiores ou iguais a 0 (zero).

21. Método 1: Exemplo
Existem três marcas de automóveis disponíveis no mercado: o J, o P
e o U. O termo aij da matriz A a seguir é a probabilidade de que um
dono de carro da linha i mude para o carro da coluna j, quando
comprar um carro novo.
Como calcular as probabilidades de um consumidor mudar de
uma marca para outra após duas compras?

22. Método 1: Exemplo
 A matriz que fornecerá a resposta será a matriz decorrente de A x
A, isto é, A².
Numa terceira compra o procedimento seria A² x A e assim sucessivamente.

23. Previsão do tempo
Em determinada região, observa-se que se chover muito em um
ano, a probabilidade que chova muito no ano seguinte é de 1/4 e que a
probabilidade de seca é de 3/4.
Ainda, se houver seca em um ano, no ano seguinte a probabilidade
de haver seca ou muita chuva será a mesma e igual a 1/2.
Suponhamos que estas probabilidades não mudem ao passar dos
anos. Os estados possíveis são Chuva (C) e Seca (S).
Se no primeiro ano houve seca, qual a probabilidade que chova muito
no terceiro ano?

24. Previsão do tempo: Arvore de
probabilidades
Logo, se houve seca no primeiro ano, a
probabilidade de chover muito no terceiro
ano é de:
½ ⋅ ¼ + ½ ⋅ ½ = ⅜
O método da Árvore de Probabilidades é
o mais simples, porém à medida que o
número de anos aumenta, as contas se
tornam cada vez mais complexas. Por
isso, precisamos usar outros métodos
para realizarmos previsões a longo prazo.

25. Cadeias de Markov: Método 2
Podemos realizar a medida a longo prazo utilizando um 2° método:
Precisamos conhecer o conceito de matriz das probabilidades de transição
e de vetor de probabilidades.

26. Cadeias de Markov: Método 2
Para podermos fazer previsões a longo prazo, a matriz T deve cumprir a certas
condições. Se a matriz das probabilidades de transição T é regular, então:
As potências T^n aproximam-se de uma matriz P, onde cada elemento de T^n aproxima-se
do elemento correspondente em P;
Todas as colunas de P são iguais, sendo representadas por um vetor-coluna;

27. Cadeias de Markov: Método 2
Para qualquer vetor de probabilidade inicial V1
O vetor de probabilidades T^n V1 aproxima-se de V
O Vetor V é o único que satisfaz V = T V

28. Cadeias de Markov: Método 2
O vetor de probabilidades é aquele cuja a i-ésima linha dá a
probabilidade de ocorrência do estado ai após n transações
Pelo teorema, concluímos que:

29. Cadeias de Markov: Exemplo
No exemplo da previsão do tempo.
Podemos calcular a probabilidade de
que haja chuva ou seca no n-ésimo
ano.
Temos a seguinte matriz T das
probabilidades de transição:
O vetor de probabilidades
irá conter a probabilidade
de chuva e de seca no n-
ésimo ano:

30. Cadeias de Markov: Exemplo
Multiplicamos a matriz T pelo vetor das probabilidades:

31. Cadeias de Markov: Exemplo
Como: Pc+Ps = 1 (100%)
Logo,
Pc + 3/2 Pc = 1
Pc = 2/5 (40%)
Portanto:
Ps = 3/5 (60%)
A probabilidade de chuva a longo prazo é de 40% e a de seca é de 60%. Assim, a longo prazo a região
deve sofrer com a estiagem.

32. Cadeias de Markov: Exemplo
 Suponhamos que em determinada região, a cada ano, 3% da população rural migra para
as cidades, enquanto que apenas 1% da urbana migra para o meio rural. Se todas as
condições permanecerem estáveis e estas porcentagens de migração continuarem as
mesmas, qual deve ser a relação entre as populações urbana e rural desta região a longo
prazo?
A probabilidade de migração do meio rural para o meio urbano é 0,03, enquanto que a de não
migração é 0,97. Já a probabilidade de migração do meio urbano para o rural é 0,01 e a de
não migração é 0,99.
Sendo U = meio urbano e R = meio rural, temos a matriz das probabilidades de transição:

33. Cadeias de Markov: Exemplo
 A longo prazo as probabilidades pR, de viver no meio rural, e pU, de
viver no meio urbano, devem satisfazer:
Onde, 0,97 . pR + 0,01 . pU = pR
0,03 . pR = 0.01pU
pU = 3 pR
Como devemos ter pU + pR = 1 (100%), temos:
pU + pR = 1
3 pR + pR = 1
4 pR = 1
pR = 0,25 logo pU = 0,75
A longo prazo, teremos 25% da população no meio rural e 75% da população no
meio urbano.

34. Classe de estados
Denomina-se classe do estado i ao conjunto de todos os estados
que se comunicam com i, também denominado conjunto fechado.
Desta forma, os estados de uma cadeia de Markov podem ser
subdivididos em uma ou mais classes disjuntas (que não têm
elementos em comum), tais que aqueles estados que se comunicam
entre si se encontram na mesma classe, em um conjunto de estados
transitórios.
Se em uma cadeia de Markov existir apenas uma classe, ou seja, se
todos os estados se comunicam, esta cadeia é dita irredutível. Se, ao
contrário, a cadeia possuir mais de uma classe ou possuir estados
transitórios, ela é denominada redutível.

35. Classe de estados

36. Aplicações
 Previsão do tempo: saber se chove ou não.
 Previsão da variação de trafego em um cruzamento
 Estimativa do número mínimo de peças de reposição reparáveis
do maquinário de uma indústria.
 Teoria das filas :Modelos matemáticos usados para a previsão
do comportamento de sistemas de fila, usado para otimizar o
processo de serviços em um sistema de fila ,pode ser aplicado
em diversas áreas como filas de banco, hospitais
,supermercados e etc.
 Previsão de qualquer fenômeno físico através de Modelagem
matemática por cadeias de Markov o fenômeno que não e
naturalmente uma cadeia de Markov pode ser modelado como
uma.