O documento discute o programa de Bug Bounty do C6 Bank e como ele se encaixa na estratégia de DevSecOps do banco. O Bug Bounty complementa outros testes de segurança ao permitir que pesquisadores independentes encontrem bugs, de forma ética. Isso traz vantagens como a identificação de vulnerabilidades diversas de forma mais custo-efetiva. Desafios incluem o alto volume de relatórios, incluindo falsos positivos e duplicados.

1. Classificação: Interna
Vamos caçar
bugs?!
O Bug Bounty na
estratégia de DevSecOps
Anchises Moraes
@anchisesbr @c6bank
@bsidessp @garoahc
@csabr @lwomcy

2. 10.06.21
O que é Bug Bounty
Bug Bounty & DevSecOps
FAQ,
Desafios e Lições
aprendidas
Agenda

3. 10.06.21
O QUE É
BUG BOUNTY

4. 10.06.21
VULNERABILITY DISCLOSURE
Canal para receber
notificações de
vulnerabilidades
BUG BOUNTY
Recompensa para quem
reportar problemas de
segurança

5. 10.06.21
www
Público
Pesquisadores
Conhecidos
Pesquisa Notificação Triagem
Esforço de
Correção
Prêmio
Remediação
Validar o
report, escopo
e severidade;
Testar e validar
o bug
Verificar
criticidade
do bug e
esforço de
correção
Portal para notificações,
gestão de reports e
pesquisadores (perfil,
reputação, background)
BB for dummies
Escopo

6. 10.06.21
VANTAGENS
PARA OS
PESQUISADORES

7. 10.06.21
Ganho financeiro
VANTAGENS
PARA OS
PESQUISADORES
https://www.techradar.com/news/facebook-paid-out-millions-in-bug-bounties-this-year

8. 10.06.21
Ganho financeiro
Oportunidade de
estudo
VANTAGENS
PARA OS
PESQUISADORES

9. 10.06.21
Ganho financeiro
Oportunidade de
estudo
Pesquisa ética
VANTAGENS
PARA OS
PESQUISADORES

10. 10.06.21
VANTAGENS
PARA AS
EMPRESAS

11. 10.06.21
Identificar bugs
VANTAGENS
PARA AS
EMPRESAS
Code
Review
Code
Security
Tests
Análise de
Vulnera-
bilidade
Pentest
Red
Team
Threat
Hunting
Bug
Bounty

12. 10.06.21
Identificar bugs
Diversidade
VANTAGENS
PARA AS
EMPRESAS Estudo “An Empirical Study of
Vulnerability Rewards Programs”
(Berkeley)
An increase in the number of
researchers looking for
vulnerabilities yields an increase in
the diversity of vulnerabilities
discovered.

13. 10.06.21
Identificar bugs
Diversidade
Custo x Benefício
VANTAGENS
PARA AS
EMPRESAS
Estudo “An Empirical Study of
Vulnerability Rewards Programs”
(Berkeley)
A Vulnerability Research Program
(VRP) can be a cost-effective
mechanism for finding security
vulnerabilities.
The cost of (…) VRPs is comparable
to the cost of just one member of the
browser security team.
Each of these VRPs finds many more
vulnerabilities than any one researcher is
likely to be able to find.
https://mfinifter.github.io/papers/vrps-usenix2013.pdf

14. 10.06.21
Identificar bugs
Diversidade
Custo x Benefício
Canal de notificações
VANTAGENS
PARA AS
EMPRESAS
Fonte: www.justice.gov

15. 10.06.21
SOURCE CODE
O programa de BB do
C6 Bank

16. 10.06.21
https://medium.com/@C6bank/c6-bank-lan%C3%A7a-programa-de-bug-bounty-1f419ebec9f2
Maio, 2019

17. 10.06.21
Bug Bounty & DevSecOps
Faz parte do seu ciclo de
testes
• Pré-produção (raro)
• Produção (comum)
Complementa os testes
existentes (recomendado)

18. 10.06.21
“Testing only proves the
presence of bugs, not
the absence of
them.”
Louis
Cremen
https://hackernoon.com/introducing-the-infosec-colour-wheel-blending-developers-with-red-and-blue-security-
teams-6437c1a07700

19. 10.06.21
deploy
app requirements
risk classification
level
behaviour test
scenarios
solution
architecture
diagram
threat modeling
diagram
functional
requirements
coding
static
testing
delivery
code files
unit tests
automated tests
Infra-structure
automation
code
data modeling
diagram
monitor
security
hardening
static
application
security tests
quality code
reports
ci/cd
configuration
application
package
dynamic
testing
dynamic
security tests
dashboard
smoke testing
business
approval
deploy
configuration
cyber monitor
observability
deployment
report
pentesting
pentesting
cloud
compliance
cyber
accreditation
risk analysis
accreditation
regressing
testing
ci/cd
secrets
vulnerability
policy
security
champion
incidents and
problems
functional
testing
stress testing
ticket
system
Bug Bounty
environment
check
Bug Bounty & DevSecOps

20. 10.06.21
1. Triagem
2. Validação do Bug
3. Encaminhamento
4. Retorno / recompensa
5. Correção
6. “Retest”
Velocidade (SLA)
Processo de Resposta

21. 10.06.21
Processo de Resposta

22. 10.06.21
Definindo a severidade
Score CVSS
Common Vulnerability Scoring System
First: https://www.first.org/cvss/calculator/3.1
NIST: https://nvd.nist.gov/vuln-metrics/cvss/v3-calculator

23. 10.06.21
F A Q

24. 10.06.21
Dúvidas
Os criminosos vão
tentar invadir a
nossa aplicação !
Eles já fazem isso !
(independente de
você ter BB)

25. 10.06.21
Dúvidas
O que pode ser
testado ?
Política do BB +
Escopo

26. 10.06.21
Escopo de
Testes
Servidores, Aplicações
Vazamento de Informação
Contas de produção ou
testes
Limitações regulatórias /
Geográficas

27. 10.06.21
DESAFIOS
LIÇÕES APRENDIDAS

28. 10.06.21
Volume de
Reports

29. 10.06.21
imprevisibilidade

30. 10.06.21
falsos positivos

31. 10.06.21
Reports
Duplicados L
Study: “Diversity or Concentration? Hackers’
Strategy for Working Across Multiple Bug Bounty
Programs” (MIT)
Sorting the few new valid issues from the
deafening noise of submitted trivial bugs,
non-issues, duplicates is time consuming
and can drain resources.
(…) invalid and duplicate submissions greatly
out-number valid submissions for open
programs.

32. 10.06.21
Testes fora da sua rotina
Ex. “Blind SQL Injection”
Teste de novos
Cenários

33. 10.06.21
“Beg Bounties”
Notificações de
“não vulnerabilidades”
Casos que deveriam ser
tratados pelo atendimento
ao cliente

34. 10.06.21
BB complementa sua
capacidade de detectar
vulnerabilidades
Mostra maturidade de
segurança
Bom relacionamento com a
comunidade de infosec
Conclusão

35. 10.06.21
DÚVIDAS ?

36. 10.06.21
Referências
M. Finifter, D. Akhawe and D. Wagner, “An Empirical Study of Vulnerability Rewards
Programs” (Berkeley), 2013, https://mfinifter.github.io/papers/vrps-usenix2013.pdf
K. Huang, M. Siegel, S. Madnick, X. LI and Z. Feng, “Diversity or Concentration? Hackers’
Strategy for Working Across Multiple Bug Bounty Programs” (MIT), Dec. 2016.
R. Ellis, K. Huang, M. Siegel, K. Moussouris and J. Houghton, “Fixing a Hole: The Labor
Market for Bugs” (MIT), 2017.

37. 10.06.21
OBRIGADO !
Anchises Moraes
@anchisesbr

38. 10.06.21
SLIDES BACKUP

39. 10.06.21
Dúvidas
Como prever o
custo (budget) ?
Não sei L
Imprevisível!

40. 10.06.21
MEDIR O CUSTO DOS BUGS
Bounty Table / Rewards (Best case)
Empresa Crítical High Medium Low
Robinhood
$ 50.000 vários vários $ 100
Coinbase
$ 50.000 $ 15.000 $ 2.000 $ 200
Paypal
$ 20.000 $ 10.000 $ 1.000 $ 100
Goldman Sachs
$ 15.000 vários vários $ 250
QIWI
$ 5.000 $ 5.000 $ 500 $ 200
Credit Karma
$ 5.000 $ 2.250 $ 700 $ 250
Savedroid
$ 2.500 $ 1.500 $ 500 $ 250
Plaid
$ 2.500 $ 1.000 $ 500 $ 250
RecargaPay
$ 2.000 $ 750 $ 300 $ 150
Omise
$ 800 $ 400 $ 200 $ 100
Liberapay
$ 500 $ 300 $ 50 $ -
Fonte: Hackerone
Métrica