1. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÉCNICA
“ANTONIO JOSÉ DE SUCRE”
VICE RECTORADO BAARQUISIMETO
DIRECCIÓN DE INVESTIGACIÓN Y POSTGRADO
INTRODUCCIÓN A LOS PROCESOS ESTOCÁSTICOS.
CADENAS DE MARKOV.
ING. ADARFIO BRYAN.
ING. VERDÚ ÁNGEL.
PROF.: MSC. ING. MARIENNY ARRIECHE
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 1

2. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
INTRODUCCIÓN
Las cadenas de Markov considera ciertos puntos discretos en el tiempo , para
toma valores de 1, 2, 3,…. Y la variable aleatoria que caracteriza al sistema . Y la
familia de las variables aleatorias forma un proceso llamado proceso estocástico.
Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo y
cortos plazos de sistemas estocásticos.
Un proceso de Markov es un sistema estocástico siempre que cumpla con la
propiedad Markoviana.
Los estados en el tiempo representan situación exhaustiva y mutuamente
excluyentes del sistema en un tiempo específico. Además el número de estado puede ser
finito o infinito. Un ejemplo es el juego de lanzar la moneda.
Por lo general una cadena de Markov describe el comportamiento de transición de
un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones
donde los espaciamientos temporales dependen de las características del sistema y por ello,
pueden no ser iguales entre sí. Estos casos se denominan cadenas de Markov incrustadas.
Con las probabilidades absolutas y de transición podremos hacer predicciones de
comportamientos futuros como las que se observaron en las situaciones anteriores. Así, si
llamamos estados a cada una de estas posibilidades que se pueden presentar en un
experimento o situación específica, entonces podemos visualizar en las Cadenas de Markov
una herramienta que nos permitiría conocer a corto y largo plazo los estados en que se
encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán
nuestros intereses.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 2

3. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Las probabilidades absolutas y de transición son exhaustivas y mutuamente
excluyentes de un experimento aleatorio en cualquier tiempo.
Las cadenas de Markov se pueden aplicar en áreas como la educación,
comercialización, servicios de salud, finanzas, contabilidad y producción. En este capítulo
se analizan las ideas básicas necesarias para entender las cadenas de Markov.
Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver
con cadenas en las que algunos de los estados son absorbentes y el resto son estados
transitorios
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 3

4. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
LAS CADENAS DE MARKOV
Considere los puntos discretos en el tiempo para y sea la
variable aleatoria que caracteriza el estado del sistema . La familia de variables aleatorias
forma un proceso estocástico. Los estados en el tiempo representan realmente
las situaciones (exhaustiva y mutuamente excluyentes) del sistema en ese tiempo
específico. El número de estados puede ser entonces finito o infinito.
Por ejemplo, la distribución de Poissón
Representa un proceso estocástico con un número infinito de estados. Variable
aleatoria n representa aquí el numero de sucesos entre o y t (suponiendo que el sistema
comienza en el tiempo 0). Los estados del sistema en cualquier tiempo t están dados por
Otro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada lanzamiento se
puede interpretar como un punto en el tiempo. La secuencia resultante de lanzamientos
constituye un proceso estocástico. El estado del sistema en cualquier lanzamiento es águila
o sol, o bien, cara o cruz.
Una cadena de Markov es en realidad un caso especial de procesos de Markov. Se
usa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocásticos.
PROCESOS DE MARKOV
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 4

5. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Un proceso de Markov es un sistema estocástico en el que la ocurrencia de un
estado futuro depende del estado inmediatamente precedente y sólo de él. Así, si
representa puntos en el tiempo, la familia de variables
aleatorios es un proceso de Markov, si ésta posee la siguiente propiedad Markoviana:
Para todos los valores posibles de .
La probabilidad se llama probabilidad de
transición. Representa la probabilidad condicional de que el sistema esté en en , dado
que estaba en en . Esta propiedad también se denomina probabilidad de transición
de un paso, ya que describe al sistema entre y . Una propiedad de transición de m
pasos se define entonces como:
CADENAS DE MARKOV
Sean los estados exhaustivos y mutuamente excluyentes
de un sistema en un tiempo cualquiera. Inicialmente, en el tiempo , el sistema puede estar
en cualquiera de esos estados. Sean las probabilidades absolutas de que
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 5

6. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
el sistema se encuentra en el estado en . Suponga además que el sistema es
Markoviano.
Definimos
Como la probabilidad de transición de un paso, de pasar del estado en al
estado en , suponemos que esas probabilidades de transición del estado al estado
se pueden arreglar más conveniente en forma de matriz como sigue:
La matriz P se denomina matriz estocástica o matriz de transición homogénea por
que todas las probabilidades de transición son fijadas e independientes del tiempo.
Las probabilidades deben satisfacer las condiciones
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 6

7. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Debemos definir ahora una cadena de Markov. Una matriz p de transición junto con
las probabilidades iníciales , asociados con los estados , definen completamente una
cadena de Markov.
Se piensa por lo general que una cadena de Markov describe el comportamiento de
transición de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo,
existen situaciones donde los espaciamientos temporales dependen de las características del
sistema y por ello, pueden no ser iguales entre sí. Estos casos se denominan cadenas de
Markov incrustadas.
CLASIFICACIÓN DE LOS ESTADOS EN LA CADENAS DE MARKOV
Al usar el análisis de las cadenas de Markov seria interesante estudiar el
comportamiento del sistema en un periodo corto. En este caso, las probabilidades absolutas
se calculan como en la sección precedente. Sin embargo, un estudio más importante tendría
que ver con el comportamiento a largo plazo del sistema, o sea, cuando el número de
transición tendiese a infinito. En tal caso, el análisis presentado en la sección precedente es
inadecuado, y es necesario encontrar un procedimiento sistemático que prediga el
comportamiento del sistema a largo plazo. Esta sección presenta definiciones de la
clasificación de los estados en las cadenas de Markov que serán útiles al estudiar el
comportamiento de los sistemas a largo plazo.
CADENA DE MARKOV IRREDUCIBLE
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 7

8. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Se dice que una cadena de Markov es irreducible si cada estado se puede alcanzar
desde cualquier otro estado después de un número finito de transiciones; o sea, para
,
En este caso, todos los estados de la cadena se comunican.
CADENAS ERGÓDICAS DE MARKOV
Una cadena de Markov irreducible es ergódica si todos sus estados son ergódicos.
En este caso la distribución de probabilidad absoluta
Siempre converge unívocamente a una distribución límite cuando , donde la
distribución límite es independiente de las probabilidades iníciales .
Ahora podemos anunciar el siguiente teorema:
Teorema: Todos los estados en una cadena de Markov infinita irreducible pueden
pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados
recurrentes nulos o estados recurrentes no nulos. En cada caso, todos los estados se
comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga un
número finito de estados, la cadena no puede constar solo de estados transitorios, ni
tampoco puede contener algún estado nulo.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 8

9. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
PROBABILIDAD ABSOLUTAS Y DE TRANSICIÓN
Dadas y de una cadena de Markov, las probabilidades absolutas del sistema
después de un número especifico de transición se determina como sigue. Sean las
probabilidades absolutas del sistema después transición, o sea, en . La expresión
general para en términos de y , se puede encontrar como sigue:
También
Donde es la probabilidad de transición de segundo orden o de dos
pasos, o sea, es la probabilidad de pasar del estado al estado en exactamente dos
transiciones.
De igual manera se puede demostrar por inducción que
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 9

10. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Donde es la probabilidad de transición de orden o de pasos dada por la
formula recursiva
En general, para toda ,
Estas son las ecuaciones de Chapman-Kolomogorov.
Los elementos de una matriz de transición de orden superior se pueden
obtener en forma directa por multiplicación matricial. Así,
Y en general,
Por consiguiente, si las probabilidades absolutas se definen en forma vectorial como
Entonces
Ejemplo:
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 10

11. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Considere la siguiente cadena de Markov con dos estados,
Con . Determine .
Entonces
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 11

12. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
El resultado interesante es que las filas de tienden a ser idénticas. También, tienden a
ser idénticas con las filas de . Este resultado tiene que ver con las propiedades a largo
plazo de las cadenas de Markov que, como se muestra en esta sección, implica que las
probabilidades absolutas a largo plazo son independientes de . En este caso las
probabilidades resultantes se denominan probabilidades de estado estable.
Probabilidades de transición en la n-ésima etapa
Suponga que se está estudiando una cadena de Markov con una matriz de
probabilidad de transición conocida P. (Puesto que las cadenas con las se tratara son
estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como
estacionarias). Una pregunta de interés es: si una cadena de Markov está en estado i en el
tiempo m, ¿Cuál es la probabilidad de que n periodos después la cadena esté en el estado j?
Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es
independiente de m, así que se podría escribir
Donde se llama probabilidad del n-ésimo paso de una transición del estado i
al estado j.
Resulta claro que . Para determinar , observe que si el sistema
ahora está en el estado i, entonces para que el sistema termine en el estado j dos periodos a
partir de ahora, se debe ir del estado i a algún estado k y luego del estado k al estado j
(véase la figura 3). Este razonamiento nos permite escribir
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 12

13. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Usando la definición de P, la matriz de probabilidad de transición, se reescribe la
ultima ecuación como
El lado derecho de (3) es solo el producto escalar del renglón i de la matriz P con la
columna J de la matriz P. por consiguiente, es el ij-ésimo elemento de la matriz .
Al ampliar este razonamiento, se puede demostrar que para ,
Por supuesto, para , así que se debe escribir
Se ilustra el uso de la ecuación (4) en el ejemplo 4.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 13

14. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Ejemplo:
Suponga que toda la industria de bebidas de cola produce solo dos. Dado que una
persona la última vez compro cola 1, hay 90% de probabilidades de que su siguiente
compra sea cola 1. Dado que la ultima compra de una persona fue cola 2, hay 80% de
probabilidades de que su siguiente compra sea cola 2.
1. Si una persona en la actualidad es comprador de cola 2, ¿cuál es la probabilidad
de que compre cola 1 dos veces a partir de ahora?
2. Si una persona en la actualidad es comprador de cola 1, ¿cuál es la probabilidad
de que compre cola 1 tres ocasiones a partir de ahora?
Solución
Veamos la compra de cada persona como una cadena de Markov con el estado, en
cualquier tiempo dado, del tipo de cola que compro la persona en la última vez. Así, las
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 14

15. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
compras de cada individuo pueden representarse como una cadena de Markov de dos
estados, donde
Estado 1= La persona compro cola del tipo 1 la última vez.
Estado 2= La persona compro cola del tipo 2 la última vez.
Si se define como el tipo de cola que una persona compra en su n-ésima compra
futura (compra actual de cola = ), entonces se podría escribir como la cadena de
Markov con la siguiente matriz de transición:
Ahorra se pueden contestar las preguntas 1 y 2.
1 Se busca
Por consiguiente, . Esto significa que la probabilidad de que un
bebedor de cola 2 en el futuro compre dos veces cola 1 es .34. Mediante la teoría de
probabilidad básica, se podría obtener esta respuesta de una manera distinta (véase la figura
4). Observe que = (probabilidad de que la siguiente compra sea cola 1 y la segunda
compra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segunda
compra sea cola 1) = .
2 Se busca :
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 15

16. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Por lo tanto,
La probabilidad de que dos periodos a partir de ahora, un comprador de cola 2
compre cola 1 es
Determinación de la probabilidad de estar en el estado j en el tiempo n cuando se
desconoce el estado inicial.
En muchas situaciones, no se conoce el estado de la cadena de Markov en el tiempo
0. Como se define en la sección 17.2, sea qi la probabilidad de que la cadena este en el
estado i en el tiempo 0. Entonces se puede determinar la probabilidad de que el sistema está
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 16

17. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
en el estado i en el tiempo n por medio del siguiente razonamiento (véase la figura 5).
La Probabilidad de estar en el estado j en el tiempo n
= q (columna j of )
Donde .
Para ilustrar el uso de (5), se contesta la siguiente pregunta: suponga que 60% de las
personas en la actualidad beben cola 1 y 40% beben cola 2. Tres compras a partir de ahora,
¿qué fracción de los compradores estará bebiendo cola 1? Puesto que
y = probabilidad de que tres compras a partir de
ahora una persona bebe cola 1, la probabilidad deseada es
Por consiguiente, tres compras a partir de ahora, 64% de los compradores estarán
comprando cola 1.
Para ilustrar el comportamiento de las probabilidades de transición del paso n para valores
grandes de n, se calcularon varias probabilidades de transición del n-ésimo paso para el
ejemplo de cola en la tabla 2.
Probabilidades de transición del n-ésimo paso para bebedores de refresco de cola.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 17

18. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
n
1 .90 .10 .20 .80
2 .83 .17 .34 .66
3 .78 .22 .44 .56
4 .75 .25 .51 .49
5 .72 .28 .56 .44
10 .68 .32 .65 .35
20 .67 .33 .67 .33
30 .67 .33 .67 .33
40 .67 .33 .67 .33
Para n grande, tanto como son casi constantes y se aproxima a .67.
Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .67 de
que una persona sea un comprador de cola 1. De manera similar, se ve que para n grande,
tanto como son casi constantes y se aproxima a .33. Esto significa que para
n grande, sin importar el estado inicial, hay una probabilidad .33 de que una persona sea
comprador de cola 2. En la sección 5.5, se hace un estudio completo de este planteamiento
de todas las probabilidades de transición del paso n.
ESTADO ESTABLE
Probabilidades de estado estable y tiempos promedio de primer pasó
En el estudio del ejemplo de cola (ejemplo 4), se encontró que después de un largo
tiempo, la probabilidad de que la siguiente vez que una persona compre bebida de cola sea
cola 1 se aproxima a .67 y.33 de que sería cola 2 (véase la tabla 2). Estas probabilidades no
dependen de si la persona tomaba cola 1 o cola 2.en esta sección, se analiza el concepto
importante de probabilidades de estado estable, que se pueden usar para describir el
comportamiento a largo plazo de una cadena de Markov.
El siguiente resultado es vital para comprender las probabilidades de estado estable
y el comportamiento a largo plazo de las cadenas de Markov.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 18

19. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
TEOREMA
Sea la matriz de transición de una cadena ergódico de estado estable. Entonces
existe un vector tal que
Recuerde que el -esimo elemento de es . El teorema 1 establece que para
cualquier estado inicial ,
Observe que para grande, p n tiende a una matriz con renglones idénticos. Esto
significa que después de un largo tiempo, la cadena de Markov se estabiliza, e
(independientemente del estado inicial ) hay una probabilidad π de que se está en el
j
estado j .
El vector π = [π 1 , π 2 π n ] se llama distribución de estado estable o distribución de
equilibrio, para la cadena de Markov. Para una cadena determinada con matriz de transición
, ¿Cómo se puede hallar la distribución de probabilidad de estado estable? A partir del
teorema 1, se observa que para grande y toda ,
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 19

20. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
p ij ( n +1) ≅ p ij ( n ) ≅ π j (6)
Puesto que p ij ( n +1) = (renglón de p n ) (columna de ), se podría escribir
k =s
pij ( n + 1) = ∑ pij ( n ) pkj (7)
k =1
Si es grande, sustituyendo la ecuación (6) en la (7), se obtiene
k =s
π j = ∑ π k p kj (8)
k =1
En forma de matriz, (8) se podría escribir como
π = πp (8`)
Infortunadamente, el sistema de ecuaciones especificado en (8) tiene un número
infinito de soluciones, debido a que el rango de la matriz siempre resulta ser ≤ s − 1
(véase capitulo 2, problema de repaso 21). Para obtener los valores únicos de la
probabilidad de estado estable, observe que para cualquier y cualquier ,
p i1 ( n ) + p i 2 ( n ) +  + p is ( n ) = 1 (9)
Haciendo que tienda a infinito en (9), se obtiene
π1 + π 2 +  + π s =1 (10)
Así, después de sustituir cualquiera de las ecuaciones en (8) con (10), se puede usar
la ecuación (8) para resolver las probabilidades de estado estable.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 20

21. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Para ilustrar como encontrar las probabilidades de estado estable, se determinan las
probabilidades de estado estable para el ejemplo 4, el ejemplo de la bebida de cola.
Recuerde que la matriz de transición para el ejemplo 4 fue,
.90 .10
p =
.20 .80

Entonces con la ecuación (8) o la ecuación (8`), se obtiene
[π1π 2 ] = [π1π 2 ]
.90 .10
 .80
.20 
π1 = .90π1 + .20π 2
π 2 = .10π1 + .80π 2
Sustituyendo la segunda ecuación con la ecuación π 1 + π 2 = 1 , se obtiene el sistema
π1 = .90π1 +.20π2
1 = π1 +π2
2 1
Resolviendo para π1 y π2 , se obtiene π1 = y π 2 = . Por consiguiente, depuse
3 3
2
de un largo tiempo, hay una probabilidad de que de que una persona determinada
3
1
compre cola 1 una probabilidad de que un apersona especifica compre cola 2.
3
Análisis transitorio
Un vistazo a la tabla 2 muestra que para el ejemplo 4, el estado estable se alcanza (a
dos decimales) Después de diez transiciones. Ninguna regla general se puede expresar
acerca de que tan rápido una cadena de Markov alcanza el estado estable, pero si contiene
muy pocos elementos que están cerca de 0 o cerca de 1, por lo general el estado estable se
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 21

22. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
alcanza muy rápido. El comportamiento de una cadena de Markov antes de alcanzar el
estado estable se llama comportamiento transitorio (o de corrida corta). Para estudiar el
comportamiento transitorio de una cadena de Markov, simplemente se utilizan las formulas
para dadas en (4) y (5). Sin embargo, es bonito saber que para grande, las
probabilidades de estado estable describen con precisión la probabilidad de estar en
cualquier estado.
Interpretación intuitiva de las probabilidades de estado estable.
Se puede dar una interpretación intuitiva a las ecuaciones de probabilidad de estado
estable (8). Restando de ambos lados de la ecuación (8), se obtiene
(11)
La ecuación (11) establece que en el estado estable,
Probabilidad de que una transición particular deje el estado
= probabilidad de que una transición particular entre al estado (12)
Recuerde que en el estado estable, la probabilidad de que el sistema este en el estado
es . De esta observación, se deduce que,
Probabilidad de que una transición particular deje el estado
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 22

23. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
= (probabilidad de que el periodo actual comience en )
(probabilidad de que la transición actual deje o salga de )
Y
Probabilidad de que una transición particular entre al estado
Probabilidad de que el periodo actual comience en )
(probabilidad de que la transición actual llegue a )
La ecuación (11) es razonable; si para cualquier estado se violara la ecuación (11),
entonces para algún estado , el lado derecho de (11) seria mayor que el lado izquierdo de
(11). Esto daría como resultado la probabilidad de “aplicar” en el estado , y no existiría
una distribución de probabilidad de estado estable. Se podría considerar que el estado
estable la ecuación (11) establece que el flujo de probabilidad hacia cado estado debe ser
igual al flujo de probabilidad que sale de cada estado. Esto explica porque las
probabilidades de estado estable suelen llamarse probabilidades de equilibrios.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 23

24. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DE
DECISIONES
Refresco de cola (continuación)
En el ejemplo 4, suponga que cada cliente realiza una compra de refresco de cola durante
cualquier semana (52 semanas = 1 año). Suponga que hay 100 millones de clientes que
consumen refrescos de cola. A la compañía le cuesta 1 dólar producir un refresco de cola y
lo vende en 2 dólares. Por $500 millones al año, una empresa publicitaria garantiza
disminuir de 10 a 5 % la fracción de clientes de cola 1 que cambia a cola 2 después de una
compra. ¿Debe la compañía que fabrica cola 1 comprar a la empresa publicitaria?
Solución
En la actualidad, una fracción de la compra es de cola 1. Cada compra de cola 1
produce a la compañía una ganancia de dólar. Puesto que hay un total de 52(100 000 000),
o 5.2 miles de millones, compra de cola cada año, la ganancia anual actual de la compañía
que produce cola 1 es
La compañía publicitaria esta ofreciendo cambia la matriz a
Para , la ecuación de estado estable son
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 24

25. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Sustituyendo la segunda ecuación por y resolviendo, se obtiene
. Ahora la ganancia anual de la compañía que produce cola 1 será
Por lo tanto, la compañía que produce cola 1 debe contratar a la agencia de
publicidad.
ESTADO ABSORBENTE
ESTADOS ABSORBENTES Y ESTADOS DE CONJUNTO CERRADO
En una cadena de Markov un conjunto C de estados se denomina cerrado si el
sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemplo
especial de un conjunto cerrado es un estado particular que tenga una probabilidad de
transición . En este caso se denomina estado absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y
ningún otro subconjunto puede ser cerrado. El conjunto cerrado C también debe satisfacer
todas las condiciones de una cadena de Markov y por ello, puede estudiarse de forma
independiente.
Ejemplo:
Considere la siguiente cadena de Markov:
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 25

26. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Esta cadena se ilustra gráficamente en la figura 18-2. La figura muestra que los
cuatro estados no constituyen una cadena irreducible, ya que los estado 0,1 y 2 no se
pueden alcanzar desde el estado 3. El estado 3, en sí mismo, forma un conjunto cerrado y,
por consiguiente, es absorbente. También se puede decir, que el estado 3 forma una cadena
irreducible.
TIEMPOS DE PRIMER RETORNO
Una definición importante en la teoría de las cadenas de Markov es el tiempo de
primer retorno. Dado que el sistema esta inicialmente en el estado , puede retornar a
por primera vez en el paso enésimo, con el numero de pasos antes de que el sistema
retorne a se llama tiempo de primer retorno.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 26

27. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Sea la probabilidad de que el primer retorno a ocurra en el paso enésimo.
Entonces, dada la matriz de transición
Se puede determinar una expresión para como sigue:
O
Se puede probar por inducción que, en general,
Lo que da la expresión requerida
La probabilidad de por lo menos un retorno al estado está dada por
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 27

28. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Entonces, es seguro que el sistema retorna a . En este caso, si
define el tiempo medio de retorno (recurrencia),
Si , no es seguro que el sistema retornara a y, en consecuencia,
Por este motivo los estados de una cadena de Markov se pueden clasificar con
base en la definición de los tiempos de primer retorno como sigue:
1. Un estado es transitorio si
2. Un estado es recurrente (persistente) si
3. Un estado recurrente es nulo si
4. Un estado es periódico con periodo t si es posible un retorno solo en los pasos t, 2t,
3t,….Esto significa que siempre que n no sea divisible entre t.
5. Un estado recurrente es ergódico si es no nulo y aperiódico (no periódico).
DISTRIBUCIÓN LÍMITE DE CADENAS ERRREDUCIBLES
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 28

29. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
El ejemplo muestra que conforme aumente el número de transiciones, probabilidad
absoluta se vuelve independiente a largo plazo de las cadenas de Markov.
En esta sección presentamos la determinación de la distribución límite (a largo
plazo) de una cadena irreducible. La presentación se concretara al tipo aperiódico ya que es
el último tipo necesario en este texto. Además, el análisis del tipo periódico es bastante
complejo.
La existencia de una distribución límite en una cadena irreducible aperiódica
depende de la clase de sus estados. Entonces, considerando las tres clases dadas en el
teorema 18.6-1, podemos enunciar el siguiente teorema.
Teorema En una cadena de Markov irreducible aperiódica, (a) Si los estados son todos
transitorios o todos nulos, entonces como para toda y y j y, no existe una
distribución limite. (b) Si todos los estados son ergódico, entonces
Donde es la distribución limite (estado estable). Las probabilidades existen
en forma única y son independiente de en este caso, se puede determinar a partir
del conjunto de ecuaciones
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 29

30. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
El tiempo medio de recurrencia para el estado j esta dado entonces por
Ejemplo:
Considere el ejemplo 18.6-1. Para determinar su distribución de probabilidades de
estado estable, tenemos
Observe que una de las ecuaciones es redundante
(Observe que una de las primeras dos ecuaciones es redundante.) La solución da:
Estos valores son cercanos a los valores de (y a las filas
de ) en el ejemplo 18.6-1. Luego tenemos
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 30

31. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
De modo que el tiempo medio de recurrencia para los estados primero y segundo
son 2.3 y 1.75 pasos, respectivamente.
Ejemplo
Considere la cadena de Markov siguiente con tres estados:
Esta se llama matriz estocástica doble, ya que
Donde s es el número de estados. En tales casos, las probabilidades de estado estable son
para toda j. así, para la matriz dada
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 31

32. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
CONCLUSIÓN
Como conclusión de las cadenas de Markov nos permite hacer análisis sobre el estudio de
los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos.
Además se tiene una relación con las probabilidades absolutas. Pero sin embargo lo más
importante es el estudio del comportamiento sistemas a largo plazo, cuando el número de
transiciones tiene al infinito. Los estados en las cadenas de Markov serán útiles para el
estudio del comportamiento de los sistemas a largo plazo.
“Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a
una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos
o estados recurrentes no nulos”
Al abordar este tema es para conocer más o menos las probabilidades de un experimento,
esto a su vez nos permitirá conocer a corto y plazo los estados en que se encontrarían en
periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros
intereses, y tomar una decisión de manera consciente y no se comentan muchos errores.
Esto también nos proporcionara un tiempo estimado para que identifiquemos cada estado y
el periodo en que se encuentra con la implementación de un proceso, también se establece
las probabilidades como una herramienta más en las cadenas de Markov.
Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución
y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto
del mercado entre marcas; dinámica de las averías de máquinas para decidir política de
mantenimiento; evolución de una enfermedad.
Se dice que la cadena de Markov es absorbente si una o más estados es un estado
absorbente es una cadena de Markov absorbente. Pero para que se puedan resolver o darle
solución a muchas de las preguntas que se generan la cadena de Markov debe seguir un
orden primero se dice que los estados deben ser transitorios, luego los estados absorbentes.
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 32

33. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
Estado estable. Son formulas que se desarrollan, que después de un largo tiempo busca la
estabilización del estado inicial ya que hay una probabilidad de que dicho estado se
encuentre en el estado , y sustituyendo dichas ecuaciones es como se resuelven los
problemas de estado estable. De otra manera las ecuaciones de estado estable son restadas
en ambos lados y la probabilidad de que deje el estado es igual a que entre en el estado y
la probabilidad de que este en el estado es .
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 33

34. UNEXPO- Dirección de Investigación y Post-Grado
Procesos Estocásticos – Cadenas de Markov.
BIBLIOGRAFÍA
INTRODUCCIÓN A LAS CADENAS DE MARKOV
Investigación de operaciones, 5ª edición, Editorial taha, pp. 822-826
PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS
Investigación de operaciones, 5ª edición, Editorial taha, pp. 824-826
Investigación de operaciones aplicaciones y algoritmos, 4ª edición, Autor Wayne l.
wishston, Editorial Thompson, pp. 928-931.
ESTADO ESTABLE
Investigación de operaciones aplicaciones y algoritmos, 4ª edición, Autor Wayne l.
wishston, Editorial Thompson, pp. 934-938.
ESTADOS ABSORBENTES
Investigación de operaciones, 5ª edición, Editorial taha, pp. 826-830
Ing. Ángel Verdú - Ing. Bryan Adarfio Página 34