O documento apresenta técnicas de visão computacional com MATLAB, incluindo detecção de objetos através de features, criação de imagens panorâmicas, análise de movimento por fluxo ótico e classificação de imagens por bag of features. É descrito o processo de detecção de objetos em imagens usando features, extração de descritores e correspondência de pontos. Também são explicados métodos para estimar fluxo ótico em vídeos e criar um classificador de imagens de comida usando bag of features.

1. Pág.

2. Pág.
Daniel Vieira
Pesquisador Científico
daniel.vieira@opencadd.eng.br
Visão Computacional com MATLAB

3. Pág.
Computer Vision com MATLAB
3
 Detecção de Objetos através de Features
 Criação de Imagens Panorâmicas
 Análise de Movimento por Fluxo Ótico
 Classificação por Bag of Features

4. Pág.
Detecção através de Features
4
Problema: encontrar um objeto
específico em uma imagem com
muitos objetos
y
x

5. Pág. 5
Detecção através de Features
featX=detectMSERFeatures(rgb2gray(x),...
'RegionAreaRange',[30 5000]);
featY=detectMSERFeatures(rgb2gray(y),'RegionAreaRange',[30 5000]);
descX=extractFeatures(rgb2gray(x),featX);
descY=extractFeatures(rgb2gray(y),featY);
matched=matchFeatures(descX,descY,'MatchThreshold',5,'MaxRatio',0.95, ‘Unique’,true);

6. Pág. 6
Detecção através de Features
[Tr,pointsX,pointsY]=estimateGeometricTransform(featX(matched(:,1)),featY(matched(:,2)),'affine’);
figure, showMatchedFeatures(x,y,pointsX,pointsY,'montage');

7. Pág. 7
Detecção através de Features
mask=ones(size(x,1),size(x,2));
ref=imref2d(size(y));
maskW=imwarp(mask,Tr,'OutputView',ref);
yBlend=repmat((maskW+0.6*(~maskW)),1,1,3).*im2double(y);
yBlend

8. Pág. 8
Imagens Panorâmicas
vid=vision.VideoFileReader('copan.mp4');
frame0=vid();
gray0=rgb2gray(frame0);
feat0=detectMSERFeatures(gray0,'RegionAreaRange',[1000 14000]);
desc0=extractFeatures(gray0,feat0);
m=1;
Tr=cell(0);
while ~isDone(vid)
frame1=vid();
gray1=rgb2gray(frame1);
feat1=detectMSERFeatures(gray1,'RegionAreaRange',[1000 14000]);
desc1=extractFeatures(gray1,feat1);
matched=matchFeatures(desc0,desc1,'Unique',true);
Tr{m}=estimateGeometricTransform(feat0(matched(:,1)),feat1(matched(:,2)),'affine','Confidence',99.9,'MaxNumTrials',2000);
frame0=frame1;
gray0=gray1;
feat0=feat1;
desc0=desc1;
m=m+1;
end
%Aplica correções nas Transformações...
...
%Usa Transformações corrigidas para dimensionar panorama...
...
[xLimit(k,:),yLimit(k,:)]=outputLimits(Tr{k},[1 Isize(2)],[1 Isize(1)]);
...
%Pré-aloca panorama, inicia referencial
panorama=zeros([height width 3]);
...
panoramaView=imref2d([height width],xLimits,yLimits);

9. Pág. 9
Imagens Panorâmicas
hBlender=vision.AlphaBlender('Operation','Binary Mask','MaskSource','Input port’);
reset(vid);
while ~isDone(vid)
frame=vid();
W=imwarp(frame,Tr{k},'OutputView', panoramaView);
Wmask=(imwarp(ones(size(frame)),Tr{k},'OutputView',panoramaView)==1);
panorama=hBlender(panorama,double(W),Wmask);
end
imshow(panorama,[])

10. Pág.
Fluxo Ótico
𝐼 𝑥 𝑢+ 𝐼 𝑦 𝑣+ 𝐼𝑡 = 0
(𝑢, 𝑣) → Fluxo Ótico (velocidades)
(𝐼 𝑥, 𝐼 𝑦, 𝐼𝑡) → Derivadas da imagem no espaço e no tempo
opticalFlowHS
Método de Horn-Schunck
opticalFlowLK
Método de Lucas-Kanade
opticalFlowLKDoG
opticalFlowFarneBack
Método de Farneback
• Assume que fluxo é suave sobre a
imagem inteira;
• Aplica filtros de Sobel para calcular as
derivadas espaciais, e filtro [-1 1] para a
derivada temporal;
• Resolve iterativamente para u e v de
forma a minimizar a equação de erro.
• Divide a imagem em seções e assume
velocidades constantes em cada uma;
• Aplica filtros [-1 8 0 -8 1]/12 para calcular
as derivadas espaciais, e filtro [-1 1] para
a temporal;
• Calcula u e v em cada seção por mínimos
quadrados.
• Variante do método de Lucas-Kanade que
utiliza filtros gaussianos e de derivadas de
gaussianas ao invés dos citados acima.
• Divide a imagem em seções e ajusta
polinômio quadrático sobre cada seção;
• Aplica translações sobre os polinômios
ajustados e, observando como os
polinômios se transformam, estima as
velocidades dos pontos da imagem;
• Baixo erro comparado a outros métodos
(Two-Frame Motion Estimation Based on
Polynomial Expansion).

11. Pág.
vid=vision.VideoFileReader('waves.mp4');
flow=opticalFlowFarneback(...);
frame=vid();
Q=estimateFlow(flow,rgb2gray(frame));
%jogar fora primeiro frame!
while ~isDone(vid)
frame=vid();
Q=estimateFlow(flow,rgb2gray(frame));
...
end
reset(flow)
Fluxo Ótico
opticalFlowLK
opticalFlowFarneback
opticalFlowHS
opticalFlowLKDoG
Q =
opticalFlow with properties:
Vx: [720×1280 single]
Vy: [720×1280 single]
Orientation: [720×1280 single]
Magnitude: [720×1280 single]

12. Pág.
Fluxo Ótico
opticalFlowFarneback

13. Pág.
Fluxo Ótico

14. Pág.

15. Pág. 15
Fluxo Ótico
opticalFlowLK
opticalFlowLKDoG

16. Pág.
Fluxo Ótico

17. Pág. 17
Problema: criar um classificador
de imagens de comidas
Classificação de Imagens por
Bag of Features
Fonte do dataset: grebvm2.epfl.ch/lin/food/Food-11.zip

18. Pág. 18
Dataset:
 1.16GB
 Mais de 16 mil imagens
 Pré-separadas em 11 categorias:
 Bread
 Dessert
 Diary
 Egg
 Fried
 Meat
 Pasta
 Rice
 Seafood
 Soup
 Veggies
Classificação de Imagens por
Bag of Features

19. Pág. 19
Algoritmo:
 Separação de imagens para treino e teste
 Extraçao de Features das Imagens de treino
 Qual algoritmo de detecção de features?
 Clustering das features, criando o “vocabulário visual”
 Qual o critério de corte das features a serem usadas?
 Quantas “palavras” (número de clusters)?
 Qual método de clustering? Kmeans, outro, quais parâmetros?
 Treino do classificador
 Qual algoritmo de classificação? KNN, Naive Bayes, SVM...?
 Avaliação do resultado (matriz de confusão)
Classificação de Imagens por
Bag of Features

20. Pág. 20
Classificação de Imagens por
Bag of Features
ds=imageDatastore('./foods2’,...
'IncludeSubfolders',true,...
'LabelSource','foldernames');
ds=shuffle(ds);
dsTrain=partition(ds,5,1);
dsTest=partition(ds,5,2);
istrained=false;
if ~istrained
Q=bagOfFeatures(dsTrain,'VocabularySize’,20000);
save('foodBag.mat','Q’);
classifier=trainImageCategoryClassifier(dsTrain,Q);
confmat=evaluate(classifier,dsTest);
save('foodModel.mat','classifier');
else
load('foodBag.mat’);
load('foodModel.mat');
end
~10 mil imagens
~2 mil imagens cada

21. Pág. 21
Classificação de Imagens por Bag of Features
𝑇 ≈ 12ℎ

22. Pág. 22
Classificação de Imagens por Bag of Features
bar(encode(Q,X),’hist’)
Visual Word
Frequency
predict(classifier,X)

23. Pág. 23
Classificação de Imagens por Bag of Features

24. Pág. 24
Classificação de Imagens por Bag of Features

25. Pág. 25
Classificação de Imagens por Bag of Features

26. Pág. 26
Classificação de Imagens por Bag of Features

27. Pág.
OBRIGADO!
DANIEL.VIEIRA@OPENCADD.ENG.BR
AV. BRIGADEIRO FARIA LIMA, 1931, CJ 152
JARDIM PAULISTANO
SÃO PAULO / SP