Fórum E-Commerce Brasil | Fraudes e Ataques Adversariais em Sistemas baseados em Deep Learning

Henrique Arcoverde
Tempest Security Intelligence
TECNOLOGIA & INOVAÇÃO

Henrique Arcoverde
O "boom" da IA

Henrique Arcoverde
Quais os sintomas
deste boom?
● Carros autônomos
● Reconhecimento de imagens
● Reconhecimento de linguagem natural
● Sistemas de recomendação
● Cirurgias robóticas
● Sistemas de navegação
● IAs generativas
● Etc.

Henrique Arcoverde
ChatGPT-3
Fonte: https://www.statista.com/chart/29174/time-to-one-million-users/ último acesso em 23 de julho de 2023.

Henrique Arcoverde
Mas por que IA?

Henrique Arcoverde
Por que não os
algoritmos tradicionais?

Henrique Arcoverde
O que torna a IA tão
poderosa para certas
aplicações?

Henrique Arcoverde
Por uma questão de viabilidade

Henrique Arcoverde
Escreva um
programa que:
Dado um marketplace, um usuário deve ser capaz de
interagir com o vendedor a fim de tirar dúvidas sobre o
produto, data de entrega, especificações técnicas etc.
Porém, o mesmo não deve ser capaz de enviar dados
que permitam uma interação por fora do marketplace.

Henrique Arcoverde
Programa Tradicional
Regras
Mensagem
Decisão
Mas qual o
problema?

Henrique Arcoverde
Como seria essa
perspectiva com IA?

Henrique Arcoverde
Seria ter um conjunto de
mensagens e rótulos
(decisões), cujo a saída
seriam regras

Henrique Arcoverde
Inteligência Artificial
Decisões
Mensagem
"Regras"

Henrique Arcoverde
Inteligência Artificial
Decisões
Mensagem
"Regras"
"Conhecimento" extrapolado

o o
o
o
Henrique Arcoverde
Fronteira de decisão
x
x
x
x x
x
x
x
x
x
x
x
x
x
o
o
x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Publicável
Não Publicável

Henrique Arcoverde
Façamos uma reflexão…

Henrique Arcoverde
Será que é possível gerar um
exemplo que será mal
classificado?

o
o
o
o
oo
Henrique Arcoverde
x
x
x
x x
x
x
x
x
x
x
x
x
x x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Publicável
Não Publicável

o
o
o
Henrique Arcoverde
x
x
x
x x
x
x
x
x
x
x
x
x
x x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Publicável
Não Publicável
x' = (x + ruído)
onde o ruído deve
ser otimizado.

Henrique Arcoverde
x
x
x
x x
x
x
x
x
x
x
x
x
x x
x
x
x
x
x
x
x
x
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Publicável
Não Publicável
x'
Entrada deliberadamente
forjada para enganar o modelo
x' = (x + ruído)
onde o ruído deve
ser otimizado.

Henrique Arcoverde
Teríamos x' como um
exemplo adversarial

Henrique Arcoverde
Mas como é possível encontrar
exemplos adversariais?

Henrique Arcoverde
Ataques adversariais

Henrique Arcoverde
Façamos outra reflexão…

Henrique Arcoverde
Seria possível utilizar IA para
gerar exemplos adversariais?

Henrique Arcoverde
Vejamos o exemplo
clássico…

Henrique Arcoverde
Fonte: Explaining and Harnessing Adversarial Examples, Goodfellow et al, ICLR 2015.

Henrique Arcoverde
A pergunta que fica é:
qual a relação disso com
fraudes?

Henrique Arcoverde
IA é amplamente utilizada
no combate a fraudes

Henrique Arcoverde
Malfeasance Detection
Problem

Henrique Arcoverde
IA é amplamente utilizada no
ecossistema de e-commerce
● Identificação de padrões e tendências de mercado
● Controle de estoque
● Precificação dinâmica
● Otimização de rotas de entrega
● Chatbots
● Etc.

Henrique Arcoverde
Exemplos de ataques
adversariais

Henrique Arcoverde
#1 - Transações fraudulentas
● Descrição: engloba a subversão dos motores de análise de fraude para transações
de maneira geral.
● Motivação: ganho financeiro.
● Existe ataque teórico? Sim. Este é um dos tópicos mais estudados na academia.
● Existe ataque in the wild? Até a presente data não há registros de ataques
adversariais de maneira massiva. Especialistas acreditam que o benefício ainda não
compensa para os adversários utilizarem ataques adversariais neste tópico.
● Qual o futuro? Diversos especialistas acreditam que este deve ser o foco dos
adversários mais sofisticados nos próximos anos.

Henrique Arcoverde
#2 - Conteúdo moderado
● Descrição: engloba a subversão dos mecanismos para moderação de conteúdo.
Adversários buscam subverter tais mecanismos a fim de enviar conteúdo com PI,
ofensivo, pornográfico, político etc.
● Motivação: ganho financeiro e dano à imagem.
● Existe ataque teórico? Sim.
● Existe ataque in the wild? Sim.
● Qual o futuro? A moderação de conteúdo passa por dois tópicos extremamente
estudados em IA, o reconhecimento de imagens e processamento de linguagem
natural. Não apenas ataques, mas defesas já estão sendo desenvolvidas neste
escopo.

Henrique Arcoverde
#3 - Spam e phishing
● Descrição: ataques contra mecanismos anti-spam e anti-phishing.
● Existe ataque in the wild? Sim, inclusive com CVE gerado a partir de ataque
adversarial.
● Qual o futuro? Enquanto uma solução definitiva não for criada, devemos continuar
vendo novos ataques e novas mitigações.

Henrique Arcoverde
#4 - Sistemas de recomendação
● Descrição: criação de click farms e review farms para impulsionar determinados
produtos.
● Qual o futuro? Embora existam diversos cenários de ataques e defesas que
mitigam os ataques adversariais contra sistemas de recomendação, dado a
diversidade de implementação, ainda devemos ver este tipo de ataque ocorrendo no
futuro.

Henrique Arcoverde
#5 - Avaliação de sentimento
● Descrição: consiste na busca por dados (geralmente públicos) para aferir a adesão
do público a um produto, bem como captar o sentimento geral para aumentar ou
frear a demanda por algo. Um ataque contra este tipo de modelo visa floodar as
fontes de coleta a fim de enganar o modelo sobre o sentimento avaliado.
● Qual o futuro? A tendência é que este tipo de ataque ocorra enquanto a seleção de
dados for realizada de maneira inadequada.

Henrique Arcoverde
#6 - Precificação dinâmica
● Descrição: consiste em definir o preço de um produto/serviço em função de fatores
externos, como no mercado de ativos financeiros, hospedagem, passagens aéreas
etc. Os ataques conhecidos funcionam normalmente como na análise de sentimento,
através da manipulação de dados públicos.
● Motivação: gerar perda financeira aos concorrentes.
● Qual o futuro? A implementação deste tipo de mecanismo é bastante ampla, o que
dificulta a geração de ataques deste tipo de maneira massiva. O futuro dirá.

Henrique Arcoverde
#7 - Vazamento do modelo
● Descrição: alguns modelos fornecem scores a fim de permitir aos usuários escolher
qual classificação será realizada. Em alguns casos, é possível que um adversário seja
capaz de replicar os parâmetros do modelo (criando um surrogate model), bem
como recuperar dados que foram utilizados durante o treinamento.
● Motivação: roubo de propriedade intelectual e dano à imagem.
● Qual o futuro? Este é um tópico bastante discutido na academia, já existem
técnicas para minimizar os riscos de vazamento de dados e parâmetros do modelo. É
importante porém que os desenvolvedores estejam atentos a fim de não replicar
problemas já endereçados.

Henrique Arcoverde
#8 - Roubo de identidade
● Descrição: um dos maiores desafios no ambiente de contas digitais é conseguir
atestar que um determinado usuário não está usando dados roubados. Uma das
técnicas utilizadas para minimizar o problema é a avaliação de liveness. Ataques
adversariais e deep fake são desafios a estas tecnologias.
● Qual o futuro? Este provavelmente é o cenário mais estudado tanto na academia
quanto na indústria. Acredito que ainda teremos anos de disputa entre fraudadores e
fabricantes a fim de tornar este risco mitigado.

Henrique Arcoverde
Existe vida após os
ataques adversariais?

Henrique Arcoverde
Existe, mas ela não é tão
simples.

Henrique Arcoverde
Ataques adversariais
● Introduzem uma nova classe de ataques.
● A adoção de IA está extremamente rápida.
● Trata-se de um tópico extremamente recente, que carece de pesquisa
aprofundada.
● Embora, de maneira geral, não sejam simples, alguns ataques adversariais
(baseados em imagens) já estão documentados e automatizados.
● Tudo indica que ataques com dados tabulares serão explorados em breve.
● Não existe (ainda?) bala de prata para resolver o problema.
● A presença de ataques in the wild ainda não é massiva, mas não devemos demorar
para vê-los de maneira recorrente.

Henrique Arcoverde
Recomendações
● Inclua ataques adversariais no modelo de ameaças.
● Crie um processo de filtragem antes de submeter os dados ao algoritmo.
● Gere exemplos adversariais e os utilize para treinar o modelo.
● Treine, ao mesmo tempo, considerando as funções de perda dos modelos
adversariais.
● Restrinja as fontes de dados.
● Evite informar dados estatísticos ao usuário. Se necessário, faça arredondamentos,
isso dificulta o vazamento de dados sobre o modelo.
● Utilize sinais de múltiplas fontes, câmeras distintas, por exemplo.
● Periodicamente realize testes de segurança contra os seus modelos.
● Inclua ataques adversariais no modelo de ameaças.

Henrique Arcoverde
Considerações finais

Henrique Arcoverde
That's all folks!

Henrique Arcoverde
henrique.arcoverde@tempest.com.br

Fórum E-Commerce Brasil | Fraudes e Ataques Adversariais em Sistemas baseados em Deep Learning

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Fórum E-Commerce Brasil | Fraudes e Ataques Adversariais em Sistemas baseados em Deep Learning

Semelhante a Fórum E-Commerce Brasil | Fraudes e Ataques Adversariais em Sistemas baseados em Deep Learning (20)

Mais de E-Commerce Brasil

Mais de E-Commerce Brasil (20)

Fórum E-Commerce Brasil | Fraudes e Ataques Adversariais em Sistemas baseados em Deep Learning