Optimizacion_Robusta_I

Programación Lineal Robusta: Parte I
Luis I. Reyes Castro, M. Sc.
Escuela Superior Politécnica del Litoral (ESPOL)
Guayaquil - Ecuador
Viernes 18 de julio de 2014
L. I. Reyes Castro (ESPOL) Programación Lineal Robusta: Parte I 0 / 24

Estructura de la Charla
1 Introducción y Motivación
2 Construcción de Conjuntos de Incertidumbre
Utilizando el Teorema del L´ımite Central
Utilizando Elipsoides Alineados con la Correlación
Utilizando un Modelo Linear en sus Factores
Utilizando Estimación de Densidad de Kernel
3 Solución de Programas Lineales Robustos
Transcripción de la Incertidumbre a una Forma General
Solucionabilidad en Tiempo Polinómico

Introducción y Motivación
Programa lineal estándar en nv variables de decisión y nr restricciones:
min c x
s.a. x ∈ Rnv
ai x ≤ bi , ∀ i ∈ nr
Aplicaciones en Investigación de las Operaciones:
Alocación de recursos (e.g., planeación de la producción).
Flujos de comodidades a través de redes log´ısticas, de comunicaciones, etc.
Algoritmos para solucionar estos programas numéricamente:
Simplex: Rápido en la práctica pero sin garant´ıas de eficiencia.
Elipsoide: Termina en tiempo polinómico pero es impráctico.
Punto Interior: Terminan en tiempo polinómico y son prácticos.

Progamas lineales con incertidumbre en los datos del problema:
E.g., cuando el costo c es una variable aleatoria.
E.g., cuando los coeficientes de la iava
restricción son aleatorios.
Principales enfoques de modelamiento y resolución:
Minimizar una función de utilidad del costo, e.g., E[c x] + κ var[c x].
Descenso por Gradientes Estocásticos.
Programación Estocástica utilizando Métodos de Planos de Corte
(e.g., Descomposición de Benders).
Buscar la mejor solución que es admisible con cierta probabilidad.
Métodos Libres de Gradientes.

Estos métodos son útiles, pero también tienen sus limitaciones:
Descenso por Gradientes Estocásticos:
Limitado a la minimización de la expectación del costo.
Programación Estocástica:
Aversión al riesgo del tomador de decisiones no puede ser siempre fácilmente
quantificada en términos de expectaciones, covariancias, etc.
Requiere enumerar todas las instancias del problema posibles.
Métodos Libres de Gradientes.
Cada iteración requiere correr una simulación.
Dif´ıcil projectar una solución no admisible a la region admisible.
Tasa de convergencia es bastante lenta.

Programación Lineal Robusta es una nueva alternativa.
Enfoque para el caso de incertidumbre en la restricción ãj x ≤ bj :
Nivel de confianza p ∈ (0, 1).
Construimos un conjunto de incertidumbre Uj (p) ⊆ Rn
de tal manera
que la siguiente implicación se justifique:
aj x ≤ bj , ∀aj ∈ Uj (p) ⇒ P ( ãj x ≤ bj ) ≥ p
Solucionamos el siguiente programa lineal semi-infinito:
min c x
s.a. x ∈ Rnv
ai x ≤ bi , ∀ i ∈ nr {j}
aj x ≤ bj , ∀aj ∈ Uj (p)

En dónde entra en juego la robustéz?
Nótese la siguiente equivalencia:
aj x ≤ bj , ∀aj ∈ Uj (p) ⇐⇒ max
aj ∈ Uj
aj x ≤ bj
Consecuentemente, el anterior programa lineal semi-infinito es equivalente
al siguiente programa lineal con una restricción adversarial:
min c x
s.a. x ∈ Rnv
ai x ≤ bi , ∀ i ∈ nr {j}
max
aj ∈ Uj
aj x ≤ bj

Construcción de Conjuntos de Incertidumbre
Consideramos la solución x ∈ Rn
≥0 y la restricción incierta ã x ≤ b.
Nuestro primer conjunto de incertidumbre:
Conjunto construido usando los soportes de las coordenadas del vector:
U = a ∈ Rn
ai ≤ ai ≤ ai , ∀ i
Si a x ≤ b para cada a ∈ U entonces P ( ã x ≤ b ) = 1.
Esto es obvio, dado que sop(ã) ⊆ U.
Nótese que es posible que todas las coordenadas del vector a tomen sus
valores mas bajos o mas altos simultáneamente.
E.g., que ai = ai para todo i, o que ai = ai para todo i.
Usualmente una construcción como esta resulta en una solución óptima
excesivamente conservadora!

Algunos puntos filosóficos:
Pensar en la naturaleza como un adversario.
Utilizar la distribución de los paramétros inciertos (i.e., los datos disponibles),
junto con las conclusiones de la teor´ıa de la probabilidad, para limitar el
poder de la naturaleza, i.e., para que el tamaño y geometr´ıa de nuestros
conjuntos de incertidumbre sean razonables.
[GK54]: Gnedenko and Kolmorogov, 1954
“All epistemological value of the theory of probability is based on this:
That large scale random phenomena in their collective action create strict,
non random regularity.”

Un conjunto de incertidumbre mucho mas razonable:
Si asumimos que las coordenadas del vector ã son independientes, entonces
el Teorema del L´ımite Central dice que:
Si n → ∞ entonces
1≤i≤n
ãi − E[ãi ]
std[ãi ]
√
n
d
−→ N(0, 1)
Definimos la función z : [0, 1) → R≥0 de tal manera que
P ( N(0, 1) ∈ [−z(p), +z(p)] ) = p .
E.g., z(0.68) ≈ 1, z(0.95) ≈ 2, etc.
Conjunto construido usando los quantiles de la distribución normal:
U(p) =



a ∈ Rn
ai ≤ ai ≤ ai , ∀ i; −z(p) ≤
1≤i≤n
ai − E[ãi ]
std[ãi ]
√
n
≤ +z(p)




Si a x ≤ b para cada a ∈ U(p) entonces
lim inf
n→∞
P ( ã x ≤ b ) ≥ p .
Nótese que ya no es posible que todas las coordenadas del vector a tomen
sus valores mas bajos o mas altos simultáneamente.
E.g., que ai = ai para todo i, o que ai = ai para todo i.

Como procedemos si las coordenadas del vector ã estan correlacionadas?
Una opción: Si no conocemos nada mas que el vector de expectación E[ã]
y la matriz de covariancia V[ã].
Definimos la función δ: [0, 1) → R≥0 de tal manera que:
δ(p) =
p
1 − p
Definimos el siguiente elipsoide para cada p ∈ [0, 1) :
U(p) = a ∈ Rn
V[ã]−1/2
(a − E[ã]) 2 ≤ δ(p)
[EGOO03]: La siguiente inecualidad aplica:
P max
a ∈ U(p)
a x ≥ ã x ≥ p

Otra opción: Si tenemos un buen modelo lineal en sus factores:
ã = B ˜d + ˜ε .
B ∈ Rn×m
es una matriz de coefficientes.
˜d ∈ Rm
y ˜ε ∈ Rn
son vectores cuyas coordenadas son independientes.
Conjunto construido usando los quantiles de la distribución normal:
U(p) =



a ∈ Rn
∃ d ∈ Rm
, ∃ ε ∈ Rn
:
a = B d + ε;
dj ≤ dj ≤ dj , ∀ j; εk ≤ εk ≤ εk , ∀ k;
−z(p) ≤
1≤j≤m
dj − E[ ˜dj ]
std[ ˜dj ]
√
m
≤ +z(p);
−z(p) ≤
1≤k≤n
εi − E[˜εi ]
std[˜εi ]
√
n
≤ +z(p)




Y aún otra opción: Si el vector ã esta distribuido de acuerdo a una función
de densidad probabilistica continua f : Rn
→ R≥0.
Para cada p ∈ [0, 1] existe un conjunto U(p) ⊆ sop(ã) tal que:
P ( ã ∈ U(p) ) = p.
Si adentro ∈ U(p) y afuera /∈ U(p) entonces f (adentro) ≥ f (afuera).
Conjunto puede o no ser convexo, pero esto no importa, dado que:
arg min
a ∈ U(p)
x a = arg min
a ∈ cvx( U(p) )
x a
Claramento, esto implica lo siguiente:
a x ≤ b, ∀a ∈ cvx( U(p) ) =⇒ P ( ã x ≤ b ) ≥ p
De hecho, si el conjunto U(p) es convexo entonces la probabilidad de
admisibilidad es exactamente igual a p.

Usualmente no tenemos acceso a la densidad f , por lo que debemos utilizar
Estimación de Densidad de Kernel (EDK).
Si tenemos m muestras del vector ã, denotadas {a(k)
}1≤k≤m, entonces un
EDK es la función ˆf : Rn
→ R≥0, donde
ˆf (a) =
1
m
m
k=1
Kh a − a(k)
.
Kernel Kh : Rn
→ R≥0 es una función quasi-concava y radialmente simétrica
que satisface
x∈Rn
Kh(x) dx = 1,
x∈Rn
K2
h (x) dx < ∞, y sup
x∈Rn
Kh(x) < ∞
Si consideramos las mp muestras con los mas altos estimados de densidad,
denotadas en orden como {â(k)
}1≤k≤ mp , entonces el casco convexo de
estas muestras converge al casco convexo de U(p).

Consecuentemente un conjunto de incertidumbre aproximado es:
Û(p) =



a ∈ Rn
∃ q ∈ R
mp
≥0 :
1≤k≤ mp
qk = 1 ;
a =
1≤k≤ mp
â(k)
qk



Nótese que hemos descrito este poliedro sin necesidad de computar sus
vértices (i.e., puntos extremos), lo cual es generalmente intractable.

Ejemplo: Cambio en el precio de las acciones con s´ımbolos SLB y LVS.
0.5 1.0 1.5 2.0 2.5
SLB: ST /S0
0.5
1.0
1.5
2.0
2.5
LVS:ST/S0
0.5 1.0 1.5 2.0 2.5
SLB: ST /S0
0.5
1.0
1.5
2.0
2.5
LVS:ST/S0

Ejemplo: Cambio en el precio de las acciones con s´ımbolos SLB y LVS.
0.5 1.0 1.5 2.0 2.5
SLB: ST /S0
0.5
1.0
1.5
2.0
2.5
LVS:ST/S0
68%
95%
0.5 1.0 1.5 2.0 2.5
SLB: ST /S0
0.5
1.0
1.5
2.0
2.5
LVS:ST/S0

Mas sobre la construcción de conjuntos de incertidumbre:
En general, son buenas referencias los papers de:
A. Ben-Tal (Technion).
A. Nemirovski (Georgia Tech).
L. El Ghaoui (UC Berkeley).
D. Bertsimas (MIT).
Recientemente, en [BGK13] se describen varios métodos para la construcción
de conjuntos de incertidumbre utilizando exámenes de hipótesis.
Finalmente, el tamaño y geometr´ıa del conjunto a usarse depende de:
Datos históricos disponibles.
Nivel de aversión al riesgo del tomador de decision.
Capacidad computacional que el tomador de decisión tiene disponible para
solucionar las contrapartes robustas.

Solución de Programas Lineales Robustos
Sin falta de generalidad, consideraremos el siguiente programa lineal robusto
en nv variables de decisión y nr restricciones:
min c x
s.a. x ∈ Rnv
max
ai ∈ Ui
ai x ≤ bi , ∀ i ∈ nr
Nótese lo siguiente:
Incertidumbre solo afecta al lado izquierdo de las restricciones,
no al lado derecho de las restricciones ni al vector de costo.
Incertidumbre en cada fila de la matriz de restricciones es independiente
de aquella correspondiente a las otras filas.

Como procedemos si la incertidumbre afecta a ambos lados de una restricción al
mismo tiempo, i.e., si existe un ´ındice i tal que (ai , bi ) ∈ Ui ?
Introducimos una variable yi ∈ R y forzamos la restricción yi = 1.
Reemplazamos la restricción adversarial anterior con la siguiente:
max
(ai ,bi ) ∈ Ui
ai x − bi yi ≤ 0
Como procedemos si la incertidumbre tambien afecta al vector de costo,
i.e., si c ∈ Ucostos?
Introducimos una variable w ∈ R y reemplazamos el objetivo anterior con
la minimización de esta nueva variable exclusivamente.
Añadimos la siguiente restricción adversarial:
max
c ∈ Ucostos
c x − w ≤ 0

Como procedemos si la incertidumbre afecta dos o mas filas de la matriz de
restricciones conjuntamente?
I.e., si nuestro programa lineal robusto es de la siguiente forma?
min c x
s.a. x ∈ Rnv
A x ≤ b, ∀A ∈ U ⊆ Rnr ×nv
Tambien podemos tratar con este tipo mas general de problemas, aunque
no hablaremos hoy de estos casos por falta de tiempo...
Véase [BTN99], Sección 2.

Teorema: Solucionabilidad en Tiempo Polinómico
Asumamos que nr ∈ O( poly(nv ) ). Si para cada i ∈ nr podemos
encontrar una solución ε-aproximada al problema de maximizar una
función lineal sobre el conjunto convexo Ui en tiempo O( poly(nv , ε−1
) ),
entonces podemos encontrar una solución ε-aproximada a nuestro
programa lineal robusto en tiempo O( poly(nv , ε−1
) ).
S´ıntesis de la Demostración:
Utilizamos el Método del Elipsoide, capaz de solucionar aproximadamente
cualquier programa lineal en tiempo polinómico.
Requiere un oráculo capaz de verificar en tiempo polinómico la admisibilidad
de una solución candidata x ∈ Rn
.
Si x no es admisible debe retornar un hiper-plano de separación.
Para cualquier solución x ∈ Rn
podemos verificar si maxai ∈ Ui x ai ≤ bi
para cada i ∈ nr en tiempo polinómico.

Método del Elipsoide para decidir si el poliedro P ⊆ Rn
es admisivo:
Asume que v < vol(P) < V , donde v > 0.
En la kava
iteración comienza con un elipsoide Ek ⊇ P con centro x[k]
.
Le pregunta al óraculo de separación si x[k]
∈ P.
SI: Solución x[k]
es admisible; algoritmo termina.
NO y un hyper-plano de separación asep ∈ Rn
: Se calcula un elipsoide Ek+1
de tal manera que:
Ek+1 ⊇ x ∈ Ek asepx ≤ asepx[k]
y
vol(Ek+1)
vol(Ek )
< e
− 1
2(n+1) .
Declara que P es inadmisivo si k ≥ 2(n + 1) log(V /v) .
Si P = { x | A x ≤ b } entonces se puede demostrar que
log(V /v) ∈ O( n3
log( n A ∞ ) ) .

Conclusión de la Primera Parte
Lo que hemos aprendido hoy:
Programación lineal robusta es una metodolog´ıa que ofrece una alternativa
a los enfoques clásicos para modelar y resolver programas matemáticos
cuyos datos son inciertos.
Utilizando las conclusiones de la teor´ıa de la probabilidad, podemos construir
conjuntos de incertidumbre de geometr´ıas razonables que además ofrecen
garant´ıas probabilisticas de admisibilidad.
Estos programas pueden ser eficientemente resultos, al menos en teor´ıa.
Lo que aprenderemos en la Segunda Parte:
Dos algoritmos prácticos para solucionar estos programas:
Método de Planos de Corte.
Método de la Dualidad (i.e., transcripción a un programa convexo).
Un ejemplo concreto de la aplicación de esta metodolog´ıa.

Bibliograf´ıa
Dimitris Bertsimas, Vishal Gupta, and Nathan Kallus, Data-driven Robust
Optimization, ARXIV Preprint (arXiv:1401.0212) (2013).
Aharon Ben-Tal and Arkadi Nemirovski, Robust Solutions of Uncertain Linear
Programs, Operations Research Letters 25 (1999), no. 1, 1–13.
Laurent El Ghaoui, Maksim Oks, and Francois Oustry, Worst-case
Value-at-Risk and Robust Portfolio Optimization: A Conic Programming
Approach, Operations Research 51 (2003), no. 4, 543–556.
Boris Vladimirovich Gnedenko and Andrey Nikolaevich Kolmogorov, Limit
Distributions for Sums of Independent Random Variables, Addison-Wesley
Publishing Company, 1954.

Optimizacion_Robusta_I

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Optimizacion_Robusta_I

Semelhante a Optimizacion_Robusta_I (20)

Optimizacion_Robusta_I