Puedes ver y descargar el video de esta presentación al igual que el código fuente y los datos de ejemplo en este link: http://amsantac.co/blog/es/2016/10/22/model-stacking-classification-r-es.html. El ensamble de modelos es un conjunto de métodos que busca incrementar la exactitud a partir de la combinación de las predicciones de múltiples modelos. Los métodos de ensamble se pueden categorizar en dos tipos de aproximaciones: una aproximación es usar clasificadores similares y combinarlos usando técnicas como bagging, boosting o random forests. Una segunda aproximación es combinar diferentes clasificadores usando model stacking. En esta presentación explico un ejemplo de implementación de model stacking aplicado a la clasificación de una imagen Landsat.

1. Mejorandolaexactitudenlaclasificación
medianteensambledemodelos
Unejemplodeprocesamientodeimágenes
Alí Santacruz
R-Spatialist en amsantac.co

2. Ideasclave
El ensamble de modelos incrementa la exactitud mediante la combinación de múltiples modelos
Métodos para ensamble de modelos:
Los predictores independientes deben tener una baja correlación para que el predictor
combinado obtenga lo mejor de cada modelo
·
·
Usar clasificadores similares y combinarlos
Combinar clasificadores diferentes mediante model stacking
­
­
·
2/14

3. EjemplodeModelStacking:Procesamientode
Imágenes
Importemos en R la imagen a clasificar (Landsat 7 ETM+, path 7 row 57, tomada en 2000­03­16
convertida a reflectancia en superficie y distribuida por el USGS) y el shapefile con los datos de
entrenamiento:
library(rgdal)
library(raster)
library(caret)
set.seed(123)
img <‐ brick(stack(as.list(list.files("data/", "sr_band", full.names = TRUE))))
names(img) <‐ c(paste0("B", 1:5, coll = ""), "B7")
trainData <‐ shapefile("data/training_15.shp")
responseCol <‐ "class"
3/14

4. Extraigamoslosdatosdeentrenamientodelas
bandasdelaimagen
dfAll = data.frame(matrix(vector(), nrow = 0, ncol = length(names(img)) + 1))
for (i in 1:length(unique(trainData[[responseCol]]))){
category <‐ unique(trainData[[responseCol]])[i]
categorymap <‐ trainData[trainData[[responseCol]] == category,]
dataSet <‐ extract(img, categorymap)
dataSet <‐ sapply(dataSet, function(x){cbind(x, class = rep(category, nrow(x)))})
df <‐ do.call("rbind", dataSet)
dfAll <‐ rbind(dfAll, df)
}
4/14

5. Creemosparticiónparaentrenamiento,
calibraciónyvalidación
# Dataset de validación
inBuild <‐ createDataPartition(y = dfAll$class, p = 0.7, list = FALSE)
validation <‐ dfAll[‐inBuild,]
buildData <‐ dfAll[inBuild,]
# Datasets de entrenamiento y calibración
inTrain <‐ createDataPartition(y = buildData$class, p = 0.7, list = FALSE)
training <‐ buildData[inTrain,]
testing <‐ buildData[‐inTrain,]
5/14

6. Funciónparabalanceomediantesubmuestreo
source("undersample_ds.R")
undersample_ds
function (x, classCol, nsamples_class)
{
for (i in 1:length(unique(x[, classCol]))) {
class.i <‐ unique(x[, classCol])[i]
if ((sum(x[, classCol] == class.i) ‐ nsamples_class) !=
0) {
x <‐ x[‐sample(which(x[, classCol] == class.i), sum(x[,
classCol] == class.i) ‐ nsamples_class), ]
}
}
return(x)
}
6/14

7. Balanceodeldatasetdeentrenamiento
nsamples_class <‐ 600
training_bc <‐ undersample_ds(training, "class", nsamples_class)
7/14

8. Ajustamosmodelosindependientescondatos
deentrenamientoyevaluamossucorrelación
# Modelo Random Forests
set.seed(123)
mod.rf <‐ train(as.factor(class) ~ B3 + B4 + B5, method = "rf", data = training_bc)
pred.rf <‐ predict(mod.rf, testing)
# Modelo SVM
set.seed(123)
mod.svm <‐ train(as.factor(class) ~ B3 + B4 + B5, method = "svmRadial", data = training_bc)
pred.svm <‐ predict(mod.svm, testing)
results <‐ resamples(list(mod1 = mod.rf, mod2 = mod.svm))
modelCor(results)
mod1 mod2
mod1 1.00000000 ‐0.02574656
mod2 ‐0.02574656 1.00000000
8/14

9. Creamoseldatasetcombinadogeneradoapartir
deldatasetdecalibración
Ajustamos un nuevo modelo para combinar los dos predictores:
predDF <‐ data.frame(pred.rf, pred.svm, class = testing$class)
predDF_bc <‐ undersample_ds(predDF, "class", nsamples_class)
set.seed(123)
combModFit.gbm <‐ train(as.factor(class) ~ ., method = "gbm", data = predDF_bc,
distribution = "multinomial")
combPred.gbm <‐ predict(combModFit.gbm, predDF)
9/14

10. Exactituddelosmodelosconbaseeneldataset
decalibración
# Exactitud del modelo RF
confusionMatrix(pred.rf, testing$class)$overall[[1]]
[1] 0.9812897
# Exactitud del modelo SVM
confusionMatrix(pred.svm, testing$class)$overall[[1]]
[1] 0.967816
# Exactitud del modelo combinado
confusionMatrix(combPred.gbm, testing$class)$overall[[1]]
[1] 0.9838786
10/14

11. Validación
pred1V <‐ predict(mod.rf, validation)
pred2V <‐ predict(mod.svm, validation)
predVDF <‐ data.frame(pred.rf = pred1V, pred.svm = pred2V)
combPredV <‐ predict(combModFit.gbm, predVDF)
11/14

12. Exactituddelosmodelosconbaseeneldataset
devalidación
accuracy <‐ rbind(confusionMatrix(pred1V, validation$class)$overall[1],
confusionMatrix(pred2V, validation$class)$overall[1],
confusionMatrix(combPredV, validation$class)$overall[1])
row.names(accuracy) <‐ c("RF", "SVM", "Combinado")
accuracy
Accuracy
RF 0.9817141
SVM 0.9658993
Combinado 0.9830320
12/14

13. Exactituddelproductorconbaseeneldataset
devalidación
prod_acc <‐ rbind(confusionMatrix(pred1V, validation$class)$byClass[, 1],
confusionMatrix(pred2V, validation$class)$byClass[, 1],
confusionMatrix(combPredV, validation$class)$byClass[, 1])
row.names(prod_acc) <‐ c("RF", "SVM", "Combinado")
round(prod_acc, 4)
Class: 1 Class: 2 Class: 3 Class: 5 Class: 6 Class: 7
RF 0.9927 0.9748 0.9769 0.9867 1 0.9982
SVM 0.9913 0.9439 0.9615 0.9905 1 0.9914
Combinado 0.9927 0.9752 0.9779 0.9963 1 0.9914
13/14

14. Recursosadicionales
Para una explicación detallada puedes ver:
Revisa también estos recursos en línea:
·
Este post en mi blog (incluye el link para descargar datos de muestra y el código fuente)
Y este video en mi canal en Youtube
­
­
·
Kaggle ensembling guide
How to build an ensemble of Machine Learning algorithms in R (ready to use boosting,
bagging and stacking)
­
­
14/14