O documento aborda a visão computacional, explorando como máquinas podem 'enxergar' através de deep learning e inteligência artificial generativa. Discute técnicas, desafios e soluções na modelagem generativa, destacando o uso de visual transformers e suas implicações em tarefas de classificação e compreensão de imagens. O autor enfatiza a importância de sistemas de visão computacional que garantam inteligibilidade, conscientização sobre dados e segurança.

1. Visão Computacional
para Não Cientistas
Dr. Ahirton Lopes
Head of Data
Professor de MBA @ FIAP

2. Dr. Ahirton Lopes
Head of Data
Professor de MBA, Corporate e PSE @ FIAP
5x Most Valuable Professional – AI @Microsoft
Google Developer Expert – Machine Learning
LinkedIn Top Voice
Doutor em Engenharia Elétrica e Computação pela
Universidade Presbiteriana Mackenzie (UPM)
Pesquisador em Machine e Deep Learning

3. TÓPICOS
Introdução a Visão
Computacional
Como uma máquina pode
“enxergar”? Casos de uso e
problemas comuns na área.
Do Deep Learning a IA
Generativa
Estrutura e modelagem – Quais
técnicas usamos?
Demonstrações
Usos em GenAI para Visão
Computacional.
Progresso em Modelos
Generativos
Atenção e Transformers
para Não Cientistas.
- Soluções, do OpenCV ao Gemini, e funcionamento base;
- Casos de uso – O que são Atenção e Visual Transformers;
- Desafios e soluções comuns (em atualização!)

4. 1N73L163NC14 3 4
H481L1D4D3 D3 53
4D4P74R 4
MUD4NÇ4

5. 5
Programa
Entrada
Saída
Desenvolvedor
Programação

6. 6
Machine
Learning
Entrada
Saída
Esperada
Cientista
de Dados
Programa
Aprendizagem de Máquina (ML)

7. 7
Entrada
Saída
Programa
Execução

8. Descoberta de conhecimento

9. Um caso prático

10. Um caso prático

11. Um caso prático

12. Visão Computacional – Como uma
máquina “enxerga”?

13. Machine vs. Deep Learning

14. Machine vs. Deep Learning

15. Por que Deep Learning?

16. Deep Learning
- Uma rede neural profunda consiste em uma hierarquia de camadas, em que cada
camada transforma os dados de entrada em representações mais abstratas (por
exemplo, borda -> nariz -> face).
- A camada de saída combina esses recursos para fazer previsões.

17. Deep Learning
- Cada camada é representada como uma série de neurônios e, progressivamente, extrai recursos de maior
e maior nível da entrada até que a camada final faça essencialmente uma decisão sobre o que a entrada
mostra;
- Quanto mais camadas a rede tiver, maiores serão as características que ela aprenderá.

18. Exemplo

19. Exemplo

20. Deep Learning
- Ou seja, a rede acaba gerando um sinal de erro que mede a diferença entre as previsões da rede e os
valores desejados e, em seguida, usa-se este sinal de erro para alterar os pesos (ou parâmetros) para que as
previsões fiquem cada vez mais precisas.

21. Labrador ou frango frito?
PROBLEMAS COMPLEXOS

22. MODELOS GENERATIVOS (GenAI)

23. Visão Computacional
Processamento de Linguagem Natural Robótica
TTS – STT – Fala Computacional
Qual o desafio?
O entendimento de entradas não estruturadas e complexos

24. Generative Adversarial Networks

25. Richard Feynman: “O que eu não consigo criar, eu não entendo”
Modelagem Generativa: “O que eu entendo, eu consigo criar!”

26. Como gerar imagens mais naturais com um computador?
Nossos modelos terão estruturas similares (generativo + inferência)
Geração Inferência
Modelagem Generativa:
Computação Gráfica
Cubo(cor=azul, posição=(x,y,z), tamanho=…)
Cilindro(cor=vermelho, posição=(x’,y’,z’), tamanho=..)
Descrição de
alto nível
Saídas
sensoriais
brutas

27. Modelos generativos estatísticos são construídos a partir de dados
Conhecimento anterior é necessário, mas há um espectro
Prior Knowledge
(e.g., physics, materials, ..)
+
Data
(e.g., images of bedrooms)
Modelos Generativos Estatísticos
…

28. Um modelo estatístico generativo é uma distribuição de probabilidade p(x)
• Dados: amostras (por exemplo, imagens de quartos) ;
• Conhecimento prévio: forma paramétrica (por exemplo, gaussiana?), função de perda
(por exemplo, máxima verossimilhança - likelihood), algoritmo de otimização, etc.
É generativo porque a amostragem de p(x) gera novas imagens
Modelos Generativos Estatísticos
probabilidade p(x)
Uma distribuição
de probabilidade
p(x)
Imagem x
…

29. Discriminativos vs. Generativos
A imagem X é dada.
Objetivo: limite de decisão, via distribuição condicional sobre o
rótulo Y
Ex: regressão logística, rede convolucional etc.
Borda Decisória
Discriminativo: classificar quarto vs. sala de jantar Generativo: gerar X
A entrada X não é dada. Requer
um modelo da distribuição
conjunta sobre X e Y
… …
Y=B , X=
Y=B , X=
Y=D , X=
Y=D , X=
Y=B , X= Y=D , X=

30. Atenção

31. PROGRESSO EM MODELOS GENERATIVOS

32. Progresso em Modelos Generativos

33. Progresso em Problemas Inversos
Menon et al, 2020 Liu al, 2018
P(high resolution | low resolution) P(full image| mask)
P(color image| greyscale)
Antic, 2020

34. Progresso em Problemas Inversos

35. Imagens e Texto
P(image | caption)

36. Visual Prompting

37. Visual RAG (Retrieval Augmented Generation)

38. A Visual Model Fine Tuning

39. VISUAL TRANSFORMERS
• Os ViTs representam imagens
como uma sequência de
patches. Um patch é uma
pequena região retangular de
uma imagem. O tamanho do
patch é normalmente 16x16
pixels.
• Depois que a imagem for dividida
em patches, cada patch é
representado como um vetor. O
vetor representa os recursos do
patch. Os recursos são
normalmente extraídos usando
uma rede neural convolucional
(CNN).
• A CNN aprende a extrair
características importantes para a
classificação de imagens.
• Os vetores de cada patch são
então alimentados em um
codificador Transformer.
• O codificador Transformer é uma
pilha de camadas de autoatenção.
A autoatenção é um mecanismo
que permite ao modelo aprender
dependências de longo alcance
entre os patches.
• Isto é importante para a
classificação de imagens, pois
permite ao modelo aprender
como as diferentes partes de uma
imagem contribuem para o seu
rótulo geral.

40. VISUAL TRANSFORMERS
• A saída do codificador Transformer é uma sequência de
vetores. Esses vetores representam as características da
imagem. Os recursos são então usados para classificar a
imagem.

41. VISUAL TRANSFORMERS

42. VISUAL TRANSFORMERS
• ViTs podem aprender
características globais de
imagens. Isso porque
eles são capazes de
atender qualquer parte
da imagem,
independente de sua
localização.
• Particularmente útil para
tarefas como
classificação de imagens,
detecção de objetos e
compreensão de cenas.

43. VISUAL TRANSFORMERS
• Os ViTs não são tão sensíveis ao aumento de dados
quanto os CNNs. Isso significa que eles podem ser
treinados em conjuntos de dados menores;
• ViTs são computacionalmente caros para treinar.
Isso ocorre porque eles possuem um grande
número de parâmetros;
• Os ViTs não são tão eficientes quanto os CNNs no
processamento de imagens. Isso porque eles
precisam atender a cada parte da imagem, mesmo
que não seja importante para a tarefa em questão;
• Os ViTs não são tão interpretáveis quanto os CNNs.
Isso significa que é difícil entender como eles fazem
previsões.

44. VISUAL TRANSFORMERS
• O ViT usa um conjunto fixo de
recursos de entrada e um atraso
de tempo variável;
• O ViT foi projetado para
processar os dados de entrada
em uma janela de tempo fixa;
• O ViT é bastante útil para o
propósito de processar dados
sequenciais.

45. VISUAL TRANSFORMERS
• O ViT usa um conjunto fixo de
recursos de entrada e um atraso
de tempo variável;
• O ViT foi projetado para
processar os dados de entrada
em uma janela de tempo fixa;
• O ViT é bastante útil para o
propósito de processar dados
sequenciais.

46. DEMOS

49. • O que queremos para o futuro em nossos sistemas de
Visão Computacional?
• Inteligibilidade;
• Conscientização sobre Dados (Data Awareness);
• Acontabilidade;
• Proteção aos Direitos Humanos;
• Segurança.

51. OBRIGADO
ahirtonlopes@gmail.com