1. CADENAS FINITAS DE MARKOV<br />PROCESOS MARKOVIANOS<br />Un proceso markoviano está formado por un conjunto de objetos y un conjunto de estados tales que <br />En cualquier momento dado cada objeto deberá encontrarse en uno de los estados (diferentes objetos no necesariamente deberán estar en diferentes estados);<br />La probabilidad de que un objeto cambie de un estado a otro (el cual puede ser el mismo que el primer estado) durante un periodo, depende solo de estos dos estados.<br />El número entero de periodos transcurridos desde el momento en que el proceso se inicia, representa las etapas del proceso, las cuales pueden ser finitas o infinitas. Si el número de estados es finito o infinito contable, el proceso markoviano es una cadena de markov. Una cadena finita de Markov es aquella que tiene un número finita de estados.<br /> Se denota con p a la probabilidad de cambiar del estado i al j en un periodo. Para una cadena de Markov de N estado (donde N es un número entero positivo dado), la matriz de N x NP = pyj es la matriz estocástica o de transición asociada al proceso. Necesariamente, los elementos de cada renglón de P tienen suma unitaria. Además,<br />Teorema 19.1: Cada matriz estocástica tiene a 1 como un eigenvalor (posible múltiplo) y ninguno de los eigenvalores excede a 1 en valor absoluto.<br />(Véanse los problemas 19.14 y 19.32). Debido a la forma en que P está definida, resulta conveniente en este capítulo indicar a los vectores renglón, con las matrices operando sobre ellos a partir de la derecha. De acuerdo con el teorema 19.1, existe un vector X = 0 tal que<br /> XP = X<br />Este eigenvector es un punto fijo de P.<br />Ejemplo 19.1 Los datos del censo dividen a las familias en poblaciones económicamente estables y económicamente deprimidas. Durante un periodo de 10 años, la probabilidad de que una familia estable permanezca estable es de 0.92, mientras que la probabilidad de que una familia estable se vuelva deprimida es de 0.08. La probabilidad de que una familia deprimida se vuelva estable es de 0.03, mientras que la probabilidad de que una familia deprimida permanezca deprimida es de 0.97.<br />Si se denota a la estabilidad económica como estado 1 y a la depresión económica como estado 2, entonces el modelo para este proceso puede plantearse como una cadena ce Markov de dos estados, con matriz de transición<br />P=<br />POTENCIAS DE MATRICES ESTOCÁSTICAS<br />Denótese a la n-ésima potencia de la matriz P por P = P. Si P es estocástica, entonces p representa la probabilidad de que un objeto cambie del estado i al estado j en un n periodo. (Véase el problema 19.12). Se tiene que P es también una matriz estocástica.<br />CADENAS FINITAS DE MARKOV<br />Se denota con xi, a la proporción de objetos en el estado i al final de n-ésimo periodo y se designa con <br />X<br />Al vector de distribución para el final de n-ésimo periodo. De acuerdo con esto,<br />X<br />Representa la proporción de objetos en cada estado al inicio de proceso. X está relacionado con X por la ecuación<br />X<br />(Véanse los problemas 19.6 y 19.7) Al anotar (19.1), implícitamente se identifica a la probabilidad p con la proporción de objetos en el estado i que realizan la transición al estado j durante un periodo.<br />MATRICES ERGÓDICAS<br />Una matriz estocástica P es ergódica si existe lim P esto es, si cada p tiene un límite conforme n – &. Se denota a la matriz límite, que es necesariamente una matriz estocástica, por L. Los componentes de X, definidos por la ecuación<br />X<br />Son las distribuciones de estado límite y representan las proporciones aproximadas de objetos en los diferentes estados de una cadena de Markov, después de un gran número de periodos. (Véanse los problemas 19.6, 19.8 y 19.9)<br />Teorema 19.2: Una matriz estocástica es ergódica si, y sólo si, el único eigenvalor de magnitud 1 es también 1 y si, = 1 tiene multiplicidad k, existen eigenvectores linealmente independientes (izquierdos) asociados con este eigenvalor.<br />Teorema 19.3: Si cada eigenvalor de una matriz P da un eigenvectores linealmente independientes (izquierdo) en número igual a su multiplicidad, entonces existe una matriz no singular M, cuyos renglones son eigenvectores izquierdos de P , tales que D= MPM es una matriz diagonal. Los elementos diagonales de D son los eigenvalores de P , repetidos de acuerdo con la multiplicidad.<br />(Véase el problema 19.3). Se adopta la convención de posicionar a los eigenvectores correpondientes a x = 1 por encima de todos los otros eigenvectores de M. Entonces, para una matriz P de N X N diagonalizable y ergódica con x = 1 de multiplicidad k, la matriz límite L purdr calcularse como<br />L= M<br />La matriz diagonal de la derecha tiene k valores 1 y ( N – k) valores 0 en la diagonal principal. (Véase el problema 19.5.)<br />MATRICES REGULARES<br />Una matriz estocástica es regular si una de sus potencias contiene sólo elementos positivos. (Véanse los problemas 19.3 y 19.4.)<br />Teorema 19.4: Si una matriz estocástica es regular, entonces 1 es un eigenvalor de multiplicidad 1, y todos los otros eigenvalores x satisfacen <br />Teorema 19.5: Una matriz regular es ergódica.<br />Si P es regular, con matriz límite L, entonces los renglones de L , son idénticos unos a otros, siendo cada uno de ellos el único eigenvector izquierdo de P asociado con el eigenvector x = 1 y siendo la suma de sus componentes igual a la unidad. ( Véase el problema 19.13.) Denótese a este eigenvector por E . Se tiene directamente a partir de (19.2) que si P es regular, entonces, independientemente de la distribución inicial Xº,<br />Xº = E<br />PROCESOS MARKOVIANOS DE NACIMIENTO-MUERTE<br />PROCESOS DE CRECIMIENTO DE POBLACIÓN <br />Una población es un conjunto cuyos elementos tienen una característica común; por ejemplo: niños enfermos de paperas, automóviles esperando en un estacionamiento de paga y el inventario de una bodega. Gran número de procesos de decisión se ocupan de analizar y controlar el crecimiento de una población.<br />Al número de elementos en un una población dada en el tiempo t, se le denota N(t). Los estados de un proceso de crecimiento son los diferentes valores que N(t) puede tomar; generalmente se trata de enteros no negativos. Se denota p(t) a la probabilidad de que N(t) tome un valor entero no negativo n.<br />Un nacimiento ocurre cada vez que un nuevo elemento se une a la población; una muerte ocurre cada vez que un miembro abandona a la población. Un proceso puro de nacimiento es aquél en que solamente se presentan nacimientos y no hay muertes; un proceso puro de muerte es aquél en que solamente se presentan muertes y no hay nacimientos.<br />Ejemplo 21.1 U n colegio anuncia que el puesto de Decano Académico está vacante, abriendo el registro de candidatos a ocuparlo con una fecha límite. Si no se realiza ningún proceso con las solicitudes sino hasta la fecha de cierre, y si ningún candidato retira su solicitud, entonces el proceso de recibir las solicitudes es un proceso puro de nacimiento, hasta la fecha de cierre. Si no se aceptan solicitudes después de la fecha límite, el proceso de reducir el grupo de solicitudes bajo consideración mediante evaluación y eliminación es un proceso puro de muerte. Si las solicitudes se procesan durante el mismo periodo en que se reciben, entonces se trata de un proceso de nacimiento-muerte. En todos los casos, la población es el conjunto de solicitudes completas que se consideran.<br />Definición: Una función f(t) es 0(t) “ o minúscula de t”, si<br />Esta función tiende a cero, a mayor velocidad que la primera potencia de su argumento. Si f(t) y g(t) son cada una o(t), también lo son f(t) + g(t) y f(t)g(t).<br />Ejemplo21.2 La función f(t)=t<br />PROCESOS MARKOVIANOS DE NACIMIENTO-MUERTE GENERALIZADOS<br />Un proceso de crecimiento de población es un proceso markoviano si las probabilidades de transición para cambiar de un estado a otro dependen solamente del estado actual y no de la historia pasada por el proceso al alcanzar el estado actual. De manera más formal, un proceso markoviano generalizado de nacimiento-muerte satisface los siguientes criterios:<br />PROCESOS MARKOVIANOS DE NACIMIENTO-MUERTE<br />Las distribuciones probabilísticas que controlan el número de nacimientos y muertes durante un intervalo de tiempo, dependen de la duración del intervalo, pero no de su punto inicial.<br />La probabilidad de exactamente un nacimiento en el intervalo de duración t, dada una población de n elementos al inicio del intervalo, es t +o(t), donde es una constante posiblemente diferente para diferentes valores de n<br />La probabilidad de más de un nacimiento y la probabilidad de más de una muerte en un intervalo de duración t son ambas o(t).<br />Estos criterios implican, en el límite cuando t tiende a cero, las ecuaciones de Kolmogorov para las probabilidades de estado:<br />PROCESOS MARKOVIANOS DE NACIMIENTO, LINEALES<br />Un proceso markoviano lineal de nacimiento es un proceso markoviano puro de nacimiento, en el cual la probabilidad de un nacimiento en un pequeño intervalo es proporcional tanto al número actual de elementos de la población como a la duración del intervalo. Esto es, para toda n<br />La constante de proporcionalidad es la tasa de nacimiento o tasa de llegadas. La solución a(21), para una población inicial de un elemento es:<br />El tamaño esperado de la población en el momento t es EN(t) =N(0)<br />PROCESOS MARKOVIANOS DE MUERTE, LINEALES<br />Un proceso markoviano lineal de muerte es un proceso markoviano puro de muerte, en el cual la probabilidad de una muerte en un pequeño intervalo es proporcional tanto al número actual de elementos de la población como a la duración del intervalo. Esto es, para toda n= 0 =y=ny. La constante de proporcionalidad u es la tasa de mortalidad. La solución a(21.1), para una población inicial N(0), es:<br />El tamaño esperado de la población en el momento t es:<br />E<br />PROCESOS MARKOVIANOS DE NACIMIENTO-MUERTE, LINEALES<br />Un proceso markoviano lineal de nacimiento-muerte es un proceso markoviano de nacimiento-muerte en el cual, para toda n,. La solución a(21.1), para una población inicial de un elemento, es:<br />Donde<br />El tamaño esperado de la población en el momento t es E/N(t). Si la población inicial tiene N(0) elementos, entonces su tamaño esperado en el momento t es:<br />E<br />Es claro que el proceso lineal de nacimiento-muerte incluye al proceso de nacimiento y al proceso lineal de muerte como los casos especiales 0=0, respectivamente. Otra propiedad importante, sugerida por(21.7), se presenta en la siguiente nota.<br />Nota: Un proceso lineal markoviano de nacimiento-muerte con parámetros a y u y la población inicial N(0) es equivalente a la suma de N(0) procesos concurrentes pero independientes, cada uno con parámetros a y u y población inicial 1.<br />Ejemplo 21.3 Encuéntrense las posibilidades de estado p(t) para el proceso lineal markoviano de nacimiento que se inicia con una población 2.<br />Cada uno de los dos subprocesos independientes tiene las probabilidades de estado dadas por (21.2). todo el proceso se encontrará en el estado n si el primer subproceso se encuentra en estado cero y el segundo en estado n, o si el primero se encuentra en estado 1 y el segundo en estado n – 1, 0….Entonces,<br />P<br />Usando (21.2) en (21.8), se obtiene: <br />P<br />PROCESOS POISSONIANOS DE NACIMIENTO<br />Un proceso poissoniano de nacimiento es un proceso markoviano puro de nacimiento, en el cual la probabilidad de un nacimiento en cualquier intervalo pequeño es independiente del tamaño de la población. Esto es para toda n = 0. En este tipo de proceso, las nuevas llegadas a la población no son resultado del número actual de elementos, si no que se presentan como en el caso de las solicitudes del ejemplo 21.1. Nuevos elementos pueden llegar a la población aun cuando el estado actual sea 0, lo cual representa una marcada diferencia en relación a los procesos markovianos lineales de nacimiento.<br />La solución a (2.1), para una población inicial de 0, es:<br />P<br />Si la población inicia con N(0) elementos, la solución es:<br />P<br />El tamaño esperado de la población en el momento t es:<br />PROCESOS MARKOVIANOS DE NACIMIENTO-MUERTE<br />EN(t)= N(0) + t<br />Definición: Una variable aleatoria discreta N tiene distribución de Poisson, con parámetro si<br />P(N = N)<br />El valor esperado de N ES E(N) = <br />Definición: Una variable aleatoria continua T tiene distribución exponencial, con parámetro <br />Se pueden condensar (21.9) y (21.10) diciendo que, en un proceso poissoniano de nacimiento con tasa de nacimiento N – N(0) tiene distribución de Poisson, con parámetro t. Además, en tal proceso, el tiempo entre llegadas que es el tiempo entre los nacimientos sucesivos, tiene distribución exponencial con valor esperado 1/ ( Véase el problema 21.8) Por el contrario,<br />Teorema 21.1: Si el tiempo entre llegadas se distribuye exponencialmente, con valor esperado 1/ , entonces el número de llegadas es un proceso poissoniano de nacimiento con tasa de nacimientos<br />PROCESOS POISSONIANOS DE MUERTE<br />Un proceso poissoniano de muerte es un proceso markoviano puro de muerte, en el cual la probabilidad de una muerte en cualquier intervalopequeño es independiente del tamaño de la población. Esto es, para toda n,<br />La solución a (2.1), para la población inicial N(0), Es:<br />PROCESOS POISSONIANOS DE NACIMIENTO-MUERTE<br />Un proceso poissoniano de nacimiento-muerte es un proceso markoviano de nacimiento-muerte, en el cual tanto la probabilidad de un nacimiento como de una muerte en cualquier intervalo pequeño es independiente del tamaño de la población. Esto es, para toda n<br />Estos procesos son la base de la teoría de líneas de espera y se desarrollan en el capítulo 23.<br />