O documento discute os riscos da inteligência artificial e categoriza as causas potenciais de IA perigosa em externas ou internas, intencionais ou acidentais, antes ou após o lançamento do sistema. As causas incluem ações humanas não éticas, erros de engenharia, impactos ambientais e auto-aprimoramento descontrolado.

1. Estupidez Artificial:
Bem vindo a uma era de
novos problemas
(e oportunidades)
Vinicius Soares

2. Perigo da Inteligência Artificial
“… Riscos relacionados à computação onde a ameaça derivaria
principalmente da sofisticação cognitiva do programa, e não de
propriedades específicas dos atuadores a que o sistema tem
acesso inicialmente.”
Nick Bostrom

3. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
A C E G
Após o
lançamento
B D F H
Ações deliberadas de pessoas não-tão-éticas (intencionais – A, B).
Efeitos colaterais de design ruim (erros de engenharia – C, D).
Casos diversos, impacto do entorno do sistema (ambiente – E, F).
Auto-aprimoramento descontrolado (independente – G, H).

4. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
A
Após o
lançamento
• Robôs assassinos
• Robôs treinados com dados errados/inseguros
• Automação de crimes digitais
• Robôs que mentem e manipulam

5. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
B
• Manipulação mal intencionada de aprendizagem por reforço e/ou classificação
• Comandos para executar ações ilegais/perigosas
• AIs genéricas capazes de receber objetivos do usuário
• Hacking
• Virus

6. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
C
Após o
lançamento
• Bugs
• Objetivos mal alinhados
• Objetivos inconsensados ex.: Oriente/Ocidente
• Upload de mente não verificada
• Não previsão de correções/desligamento

7. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
D
• Não correção pré-lançamento de bugs, erros de design e objetivos mal alinhados
• Entendimento errado de comandos
• Evolução imprevisível, inverificável, não-determinística, obstinada, complexa, não transparente
• Overflow de Inteligência
• AI super controladora

8. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
E
Após o
lançamento
• AI de origem desconhecida (E.T. por exemplo)
• Upload de mentes não humanas
• Levin Search
• DNA computing

9. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
F
• Alteração de bits por interferência eletromagnética

10. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
G
Após o
lançamento
• RSI
• Aquisição de recursos

11. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
H
• Superhuman Intelligence
• Sociopatia
• Aprendizagem a partir de dados errados
• Colaboração entre Ais / Conflitos de objetivos
• Tendência a decisões satisfatórias em detrimento da razão
• Treacherous turn

12. Slaughterbots

13. Vídeo Slaughterbots
https://www.youtube.com/watch?v=9CO6M2HsoIA

14. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
A
Após o
lançamento
• Robôs assassinos
• Robôs treinados com dados errados/inseguros
• Automação de crimes digitais
• Robôs que mentem e manipulam

15. Hackeamento
Placas de Trânsito

16. PAPERNOT et al. (2017)EYKHOLT et al. (2017)

17. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
B
• Manipulação mal intencionada de aprendizagem por reforço e/ou classificação
• Comandos para executar ações ilegais/perigosas
• AIs genéricas capazes de receber objetivos do usuário
• Hacking
• Virus

18. Bot Tay

21. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
B
• Manipulação mal intencionada de aprendizagem por reforço e/ou classificação
• Comandos para executar ações ilegais/perigosas
• AIs genéricas capazes de receber objetivos do usuário
• Hacking
• Virus

22. Acidente Fatal
Uber

24. Vídeo Uber
https://www.youtube.com/watch?v=Cuo8eq9C3Ec

26. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
D
• Não correção pré-lançamento de bugs, erros de design e objetivos mal alinhados
• Entendimento errado de comandos
• Evolução imprevisível, inverificável, não-determinística, obstinada, complexa, não transparente
• Overflow de Inteligência
• AI super controladora

27. Quebra de
Privacidade

28. https://www.youtube.com/watch?v=em3881xblxs

29. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
D
• Não correção pré-lançamento de bugs, erros de design e objetivos mal alinhados
• Entendimento errado de comandos
• Evolução imprevisível, inverificável, não-determinística, obstinada, complexa, não transparente
• Overflow de Inteligência
• AI super controladora

30. COMPAS

31. Falso Positivo para Alto Risco:
Negros: 45%
Brancos: 23%
Falso Negativo para Alto Risco
Brancos: 48%
Negros: 28%
Risco de
Reincidência
https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

32. Em condições equivalentes de
Crimes anteriores, Idade, Gênero:
Negros 45% mais propensos a serem
classificados com alto risco.
https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm
Risco de
Reincidência

33. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
D
• Não correção pré-lançamento de bugs, erros de design e objetivos mal alinhados
• Entendimento errado de comandos
• Evolução imprevisível, inverificável, não-determinística, obstinada, complexa, não transparente
• Overflow de Inteligência
• AI super controladora

34. Previsões da
Copa do Mundo

35. Previsões da Copa do Mundo
Goldman Sachs
1º Brasil
2º Alemanha
Universidades de Dortmund e de Munique
1º Alemanha
2º Espanha
EA sports
1º França
2º Alemanha

38. Goldman Sachs

39. Universidades de Dortmund e de Munique

41. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
Após o
lançamento
D
• Não correção pré-lançamento de bugs, erros de design e objetivos mal alinhados
• Entendimento errado de comandos
• Evolução imprevisível, inverificável, não-determinística, obstinada, complexa, não transparente
• Overflow de Inteligência
• AI super controladora

42. Roman V. Yampolskiy. Taxonomy of Pathways to Dangerous Artificial Intelligence. 30th AAAI Conference on Artificial Intelligence (AAAI-
2016). 2nd International Workshop on AI, Ethics and Society (AIEthicsSociety2016). Phoenix, Arizona, USA. February 12-13th, 2016.
Causas Externas Causas Internas
De forma
intencional
Por erro
Em função do
ambiente
De forma
independente
Antes do
lançamento
A C E G
Após o
lançamento
B D F H
Ações deliberadas de pessoas não-tão-éticas (intencionais – A, B).
Efeitos colaterais de design ruim (erros de engenharia – C, D).
Casos diversos, impacto do entorno do sistema (ambiente – E, F).
Auto-aprimoramento descontrolado (independente – G, H).

43. Nunca atribua à malícia
o que pode ser adequadamente
explicado pela estupidez.
Robert A. Heinlein

44. @AINews.br
Ainewsbr
vinicius-soares
www.mais.ai
vinicius@mais.ai