O documento discute os efeitos das fake news, deep fakes e bots nas mídias sociais e democracias. A disseminação de desinformação por esses meios tem minado a confiança pública e influenciado eleições. Técnicas de aprendizado de máquina como deep learning tornam os deep fakes cada vez mais sofisticados, dificultando sua detecção.

1. Fake News, Deep Fakes,
e seus efeitos sobre a
Democracia
Ruy J.G.B. de Queiroz
Centro de Informática da UFPE
Reunião do DDIT/FDR-UFPE, 23 Outubro 2018

2. Mídia Social e
Democracia
• “Após um período relativamente breve de euforia
sobre a possibilidade de a mídia social inaugurar
uma era de ouro da democratização global, há
agora uma preocupação generalizada em muitos
segmentos da sociedade - incluindo a mídia,
estudiosos, a comunidade filantrópica, sociedade
e até mesmo os próprios políticos - de que as
mídias sociais podem, ao contrário, estar minando
a democracia.”

3. Mídia Social e
Democracia
• “Esse receio se estende não apenas a democracias novas
ou instáveis, que muitas vezes são propensas ao
retrocesso democrático, mas também a algumas das mais
veneráveis e estabelecidas democracias, incluindo os
Estados Unidos.
• De fato, em pouco mais de meia década, saímos do
Journal of Democracy apresentando um artigo seminal
sobre a mídia social intitulado "Liberation
Technology" (Diamond 2010) para o mesmo jornal
publicando uma peça como parte de um fórum sobre as
eleições dos EUA em 2016 intitulado “Can Democracy
Survive the Internet? ”

4. Fake News
• “Notícias falsas (sendo também muito comum o
uso do termo em inglês fake news) são uma forma
de imprensa marrom que consiste na distribuição
deliberada de desinformação ou boatos via jornal
impresso, televisão, rádio, ou ainda online, como
nas mídias sociais.” (Wikipédia)

5. Disseminação Maciça de
Desinformação
• “A disseminação maciça da desinformação digital foi identificada
como risco global importante e tem sido alegado que influencia
eleições e ameaça democracias. Estudiosos das comunicações,
ciências cognitivas, ciências sociais e cientistas da computação
estão envolvidos em esforços para estudar as causas complexas
para a difusão viral de desinformação online e para desenvolver
soluções, enquanto plataformas de busca e de mídia social estão
começando a implantar contramedidas.
• Com poucas exceções, esses esforços foram principalmente
informados por evidências frugais em vez de dados sistemáticos.”
(“The spread of low-credibility content by social bots”, C. Shao, G.
L. Ciampaglia, O. Varol, K. Yang, A. Flammini, & F. Menczer,
Indiana University, 2017/2018)

6. Disseminação Maciça de
Desinformação
• “(…) analisamos 14 milhões de mensagens espalhando
400 mil artigos no Twitter durante e após a campanha
presidencial dos EUA em 2016. Encontramos evidências
de que bots sociais desempenharam um papel
desproporcional na amplificação de conteúdo de baixa
credibilidade.
• Contas que propagam ativamente artigos de fontes de
baixa credibilidade são significativamente mais provável
de serem bots. Contas automatizadas são particularmente
ativas em amplificar o conteúdo nos primeiros momentos
de divulgação, antes de um artigo viralizar.”

7. Deep Fakes
• “Mentiras prejudiciais não são novidade. Mas a capacidade de
distorcer a realidade deu um salto exponencial com a tecnologia
“deep fake”. Esta capacidade torna possível criar áudio e vídeo
de pessoas reais dizendo e fazendo coisas que nunca disseram
ou fizeram. As técnicas de aprendizado de máquina (“deep
learning”) estão aumentando a sofisticação da tecnologia,
tornando as deep fakes cada vez mais realistas e cada vez mais
resistentes à detecção.
• A tecnologia de deep fake possui características que permitem
uma difusão rápida e generalizada, colocando-se nas mãos de
agentes sofisticados e pouco sofisticados.” (“Deep Fakes: A
Looming Challenge for Privacy, Democracy, and National
Security”. BOBBY CHESNEY & DANIELLE CITRON, Jul/2018)

8. Deep Fakes
• “Tecnologias de deep fake trazem consigo certos
benefícios, mas também muitos danos. O mercado de
ideias já sofre com a decadência da verdade, pois o
nosso ambiente de informação em rede interage de
maneira tóxica com nossos vieses cognitivos.
• As deep fakes exacerbam este problema
significativamente. Indivíduos e empresas enfrentarão
novas formas de exploração, intimidação e sabotagem
pessoal. Os riscos para a nossa democracia e para a
segurança nacional também são profundos.”

9. “The looming era of deep
fakes”
• “A criação de conteúdo falso de vídeo e áudio não é nova.
Aqueles com recursos - como estúdios de Hollywood ou
entidades governamentais - têm sido capazes de fazer
falsificações razoavelmente convincentes. (…)
• A iminente era das falsificações profundas será diferente,
no entanto, porque a capacidade de criar conteúdo de
áudio e vídeo falso hiper-realista e difícil de decifrar vai se
espalhar por toda parte. Os avanços no aprendizado de
máquina estão impulsionando essa mudança. Mais
notavelmente, pesquisadores acadêmicos desenvolveram
as “generative adversarial networks” (GANs).”

10. “The looming era of deep
fakes”
• “Trabalho semelhante está provavelmente ocorrendo em várias
situações envolvendo informações altamente confidenciais, mas a
tecnologia está se desenvolvendo, pelo menos parcialmente, em
plena visão pública, com o envolvimento de provedores
comerciais.
• Algum grau de falsidade crível já está ao alcance das principais
agências de inteligência, mas na próxima era de deep fakes,
qualquer um poderá entrar nesse jogo em um nível perigosamente
alto. Em tal ambiente, seria preciso pouca sofisticação e recursos
para produzir estragos. Não muito tempo a partir de agora,
ferramentas robustas deste tipo e serviços de contratação para
implementá-los estarão disponíveis a qualquer um.” (Disinformation
on Steroids, R. Chesney & D. Citron, 16 Out 2018)

11. “The looming era of deep
fakes”
• “A gama de danos potenciais que as deep fakes podem
trazer é impressionante. Uma deep fake ou uma série de
deep fakes, bem cronometradas e bem montadas,
podem decidir uma eleição, estimular a violência em
uma cidade preparada para a agitação civil, reforçar as
narrativas insurgentes sobre as supostas atrocidades de
um inimigo ou exacerbar as divisões políticas em uma
sociedade. As oportunidades para a sabotagem dos
rivais são uma legião - por exemplo, afundar um acordo
comercial ao deixar vazar para um líder estrangeiro uma
deep fake alegando revelar as verdadeiras crenças ou
intenções insultantes dos funcionários dos EUA.”

12. Engajamento e
Sensacionalismo
• “O Facebook, o Twitter e o YouTube têm modelos de negócios que se
alimentam do escandaloso, incendiário e atraente, porque esse
conteúdo gera “engajamento” e chama nossa atenção, e que as
plataformas vendem aos anunciantes, combinado com dados
extensos sobre usuários que permitem anunciantes (e
propagandistas) fazerem de nós “microtarget” em um nível individual.
• Os meios de comunicação tradicionais, é claro, freqüentemente
também são manipuladores cínicos do conteúdo sensacionalista, mas
a mídia social é mais capaz de potencializá-lo. Os algoritmos podem
medir o conteúdo que melhor “engaja” cada usuário e pode
direcioná-lo individualmente de uma forma que o editor mais
desleixado de um meio de transmissão só poderia sonhar.” (“Russian
Meddling Is a Symptom, Not the Disease”, Zeynep Tufekci, New York
Times, 03/10/2018)

13. O “Pecado Original” da
Internet
• “O modelo de negócios baseado em publicidade tem sido
chamado de "o pecado original da Internet". Em 2017,
grandes empresas de tecnologia se viram objeto de
investigações do Congresso e da ira pública, pois escândalos
que variaram da interferência russa nas eleições americanas
à violação de dados da Cambridge Analytica deixaram claro
que o ecossistema social tem profundas falhas.
• Esta palestra examina as conseqüências não intencionais da
interseção entre algoritmos e modelos de negócios e [sugere
um caminho a seguir].” (Renée DiResta, “The Emperor's New
Clicks: What happens to Internet business models now that
the bot/attention game is out in public”, Ago/2018)

17. Produtores da
Desinformação
• “Uma combinação diversificada de agentes, incluindo
trolls, bots, sites de notícias falsas, teóricos da
conspiração, políticos, meios de comunicação altamente
partidários, a grande mídia e governos estrangeiros estão
desempenhando papéis sobrepostos - e às vezes
concorrentes - na produção e amplificação da
desinformação no ecossistema moderno de mídia.”
• (Social Media, Political Polarization, and Political
Disinformation: A Review of the Scientific Literature,
Joshua A. Tucker, Andrew Guess, Pablo Barberá, Cristian
Vaccari, Alexandra Siegel, Sergey Sanovich, Denis Stukal,
and Brendan Nyhan, Mar/2018)

18. Bots e Trolls
• “O uso de bots e trolls em campanhas de desinformação em todo o
mundo já está bem documentado. Bessi e Ferrara (2016) identificaram
400.000 bots responsáveis por postar cerca de 3,8 milhões de tweets
durante o último mês das eleições presidenciais de 2016 dos EUA. Isto
significou cerca de um quinto do volume total de conversas on-line que
haviam coletado. Shao et al. (2017) expõe o papel dos bots na divulgação
de fake news, especialmente nos estágios iniciais da disseminação.
• Eles também observam que “humanos são vulneráveis à manipulação,
retuitando bots que postam falsas notícias de bots. ”Reportagens de,
entre outros, NBC News, WIRED, Wall Street Journal e CNN, dão ampla
evidência qualitativa de atividades de bot e troll, incluindo a criação de
grupos no Facebook; tentando organizar eventos offline; e espalhando
mensagens altamente explosivas e divisivas sobre relações raciais, arma
e direitos a aborto, etc.”

19. Bots
• Bots Políticos: Usados, principalmente no Twitter, para disseminar
informações erradas. Os mais comumente mencionados na mídia
recentemente foram os bots russos, que, acredita-se,
desempenharam um papel importante na mais recente eleição
presidencial dos EUA.
• Vanity Bots: Foram criados para adicionar números e
engajamentos falsos a seguidores de mídias sociais para dar a
aparência de que um influenciador tem um público maior e
potencialmente mais engajado do que realmente é.
• Traffic Bots: Foram criados com a intenção de direcionar tráfego
para sites onde as compras podem ser feitas. Estes podem ser
spam, mas eficazes. Segmentam consumidores interessados em
determinado tópico e os atraem com um clique de saída.

20. Bots na Eleição Brasileira
• “A pouco mais de uma semana do segundo turno das eleições
2018, as menções sobre os presidenciáveis no Twitter caíram 38%
na semana entre 10 e 16 de outubro, para 10,5 milhões de tuítes. A
reta final da corrida eleitoral, entretanto, traz uma retomada do
crescimento da atuação de robôs nas redes, com destaque para o
grupo do candidato X, que respondeu por 70,7% dos tuítes
identificados como sendo gerados por máquinas.
• “As contas automatizadas representaram 0,5% dos perfis no
debate sobre os presidenciáveis e foram capazes de gerar 10,4%
das discussões, cerca de 5 pontos porcentuais a mais do que na
análise da semana passada”, afirma o estudo. A base de apoio de
X, segundo a DAAP-FGV, respondeu por 602,5 mil destes registros
(70,7%), contra 240,2 mil de Y (28,2%).” (Estadão, 19/10/2018)

21. Detecção de Bots
• “Durante a última década, as mídias sociais como Twitter e
Facebook surgiram como uma ferramenta generalizada para
comunicação em larga escala e em tempo real. Essas
plataformas foram prontamente saudadas por alguns
pesquisadores pelo poder de democratizar as discussões, por
exemplo, permitindo a cidadãos de países com regimes de
opressão discutirem abertamente questões sociais e políticas.
• No entanto, devido a muitos relatos recentes de manipulação
de mídias sociais, incluindo propaganda, extremismo,
desinformação, etc., preocupações sobre abuso estão
crescendo.” (Deep Neural Networks for Bot Detection.
Kudugunta & Ferrara 2018)

22. Detecção de Bots
• “Um exemplo de manipulação de mídia social é o uso de
bots (também conhecidos como bots sociais, ou contas
sybil), contas de usuário controladas por algoritmos em
vez de usuários humanos. Os bots têm sido
extensivamente usados para fins dissimulados, variando
de influências políticas a opiniões para perpetuar fraudes.
• Os bots de mídia social existentes variam em sofisticação.
Alguns bots são muito simples e meramente retuitam
posts de interesse, enquanto outros são mais sofisticados
e têm a capacidade de interagir com usuários humanos.”

23. Detecção de Bots
• “Para detectar esses tipos de bots de mídia social,
diferentes abordagens foram propostas. Aprendizagem
supervisionada em particular exibiu resultados promissores:
exemplos de atividade de usuários e bots, rotulados como
tal, podem ser alimentados a algoritmos de aprendizado de
máquina; modelos treinados são então usados para
classificar as contas imprevistas, aproveitando dados
obtidos, por exemplo, usando a API do Twitter: isso pode
ajudar a determinar a natureza das contas suspeitas.
• Alternativas baseadas na aprendizagem não
supervisionada buscaram identificar anomalias
comportamentais e associá-las a contas de bots.”

24. Detecção de Bots: 7 sinais
(Ryan Detert, Forbes, 2018)
1. Atividade Anormal da Conta
2. Taxa de Engajamentos
3. Seguidores versus Engajamentos
4. Origem do Seguidor
5. Bio do Seguidor
6. Percentagem de Seguidores com Contas Recentemente
Criadas
7. Teste do Retweet

25. Fake News em Eleições
• “Além da eleição presidencial dos EUA em 2016, as operações de
desinformação online da Rússia foram, pelo menos supostamente,
descobertas durante outras campanhas eleitorais nos Estados Unidos,
bem como no período pós-eleitoral. Isso inclui o caso alemão (Applebaum
et al 2017); e as eleições britânicas (Gorodnichenko et al. 2017) e os
referendos catalães. Bots detectados durante a chamada fraude
MacronLeaks imediatamente antes das eleições presidenciais francesas
de 2017 (Ferrara 2017) foram atribuídas de várias maneiras a apoiadores
americanos do principal adversário de Macron, Marine Le Pen.
• Além disso, a OTAN conduziu um estudo das discussões no Twitter sobre
a sua presença nos países bálticos e Polônia (Fredheim 2017). Eles
afirmam que 70% das contas tuitando em russo durante cinco meses em
2017 pareciam ser automatizados (em contraste a 28% para contas
tuitando em Inglês).”

26. Manipulação de Eleições
• “Um novo relatório internacional revelou que mais de uma
dúzia de nações foram vítimas de táticas de manipulação e
desinformação durante períodos de eleição nos últimos 12
meses, pondo em risco a liberdade na internet em todo o
mundo.
• O relatório anual da Freedom House "Manipulating Social
Media to Undermine Democracy, Freedom of the Net" (…)
[Nov/2017] revelou que pelo menos 16 países sustentaram
ataques semelhantes aos esforços russos de interferência
online reportados durante as eleições presidenciais de 2016.
Como um todo, o estudo de 65 nações revelou que liberdades
na internet declinaram amplamente desde o último relatório.”

27. Manipulação de Eleições
• “Essas 16 nações - Alemanha, Angola, Armênia,
Colômbia, Coréia do Sul, Equador, EUA, França,
Gâmbia, Indonésia, Itália, Quênia, Ruanda, Turquia,
Reino Unido, e Zâmbia - tiveram campanhas eleitorais
afetadas por notícias falsas e tiveram sites e contas de
mídia social vandalizadas, de acordo com o relatório.
Em alguns casos, o uso de bots políticos e contas
sequestradas também foram relatados.”
• "Os efeitos dessas técnicas de disseminação rápida
sobre democracia e ativismo cívico são potencialmente
devastadores,” USNEWS 14/11/2017

28. Cambridge Analytica
• “Cambridge Analytica (UK), Ltd. (CA) foi uma empresa
privada que combinava mineração e análise de
dados com comunicação estratégica para o processo
eleitoral. Foi criada em 2013, como um desdobramento
de sua controladora britânica, a SCL Group para
participar da política estadunidense. Em 2014, a CA
participou de 44 campanhas políticas. A empresa é, em
parte, de propriedade da família de Robert Mercer, um
estadunidense que gerencia fundos de cobertura e que
apoia muitas causas politicamente conservadoras. A
empresa mantinha escritórios em Nova York,
Washington, DC e Londres.”

29. CA Political
• “CA political has been provided the stronger
relationship between data and marketing. Basically, it
combines the predictive data analytics, behavioural
sciences, and innovative ad tech into one award
winning approach. (…)
• “Essentially, CA political is providing an advantage of
improving the brand’s marketing effectiveness by
influencing the customer behaviour with the use of
behavioural sciences, predictive analytics, data
driven solutions, and other technological benefits.”

30. Cambridge Analytica e
“psychographic targeting”
• “O Facebook já oferece aos anunciantes e
responsáveis por campanhas na rede social
inúmeras formas de enviar mensagens específicas
para públicos específicos. Ele segmenta seus
usuários por informações demográficas, como
idade, sexo, educação ou interesse em questões
específicas. Mas o marketing psicológico - que
muitas empresas em todo o mundo agora dizem
fazer - tem como alvo as pessoas com base em
seus traços de personalidade.”

31. Cambridge Analytica e
“psychographic targeting”
• “Em 2013, os psicólogos David Stillwell e Michal Kosinski
relataram que, ao examinar quais posts ou páginas um
usuário "curtiu" no Facebook, foi possível prever com
exatidão informações sensíveis, como orientação sexual e
traços de personalidade. Os acadêmicos, então ambos da
Universidade de Cambridge, no Reino Unido, testaram 58 mil
voluntários para medir sua abertura a novas experiências,
responsabilidade, extroversão, amabilidade e irritabilidade:
cinco aspectos da personalidade que os pesquisadores
consideram consistentes e estáveis em idiomas e culturas.
(Esse tipo de teste de personalidade é conhecido como a
escala dos Big Fives.) Então eles correlacionaram esses
traços com os “likes” do Facebook dos voluntários.”

32. Cambridge Analytica e
“psychographic targeting”
• “O gráfico dos Big Fives é relativamente amplo, diz Kosinski,
mas um algoritmo de aprendizado de máquina poderia
extrair correlações entre “likes”, respostas a um teste de
personalidade e outros aspectos do rastro digital de uma
pessoa, para criar um perfil de personalidade refinado.
• Assim, qualquer empresa que construísse um modelo
correlacionando “likes” com personalidade poderia tentar
enviar anúncios para usuários do Facebook de acordo com
suas personalidades inferidas, e poderia adaptar seus
anúncios a pessoas com características específicas. E uma
vez que eles tenham construído um modelo, a empresa não
precisaria armazenar nenhum dado do Facebook.” NATURE

33. Cambridge Analytica e
“psychographic targeting”
• “[Cambridge Analytica] não precisaria necessariamente
de dados dos “likes” no Facebook para criar modelos
de personalidades das pessoas. Os anunciantes podem
minerar outros aspectos dos rastros digitais das
pessoas em busca de correlações com a
personalidade, diz Kosinski - como feeds do Twitter,
históricos de navegação e padrões de telefonemas.
Pesquisas sugerem que esses dados podem ser
preditivos de personalidade, embora com resultados
variados. A empresa norte-americana Crystal, por
exemplo, prevê perfis de personalidade ao analisar
dados públicos, de acordo com seu site.”

34. Cambridge Analytica e
“psychographic targeting”
• “Cambridge Analytica usou um modelo de personalidade
baseado nos “likes” do Facebook? Não está claro. Sua
controladora, a SCL, recebeu uma parcela de dados dos
usuários do Facebook de Aleksandr Kogan, outro
psicólogo da Universidade de Cambridge. Em 2013,
Kogan criou um aplicativo no Facebook para pesquisa
acadêmica, que em 2014 se tornou comercial. Ele formou
uma empresa, a Global Science Research (GSR), e diz
que mudou o nome do aplicativo e seus termos e
condições para deixar claro que era para uso comercial.
Ele recrutou cerca de 250.000 novos usuários para
responder pesquisas de personalidade e se inscrever em
seu aplicativo no Facebook.”

35. Cambridge Analytica e
“psychographic targeting”
• “Na época, o Facebook permitia que os aplicativos extraíssem
certos dados tanto de seus usuários imediatos quanto de seus
amigos do Facebook, incluindo seus “likes”, locais e histórico
declarado de emprego - embora em 2014 a empresa tenha
alterado essas políticas. Kogan recebeu informações sobre cerca
de 30 milhões de pessoas e forneceu os escores de personalidade
previstos para a SCL, que formava a Cambridge Analytica. O
Facebook diz que a transmissão dos dados é contra as regras.
• A Cambridge Analytica disse que usa o marketing psicográfico.
Mas a empresa nega que tenha usado dados do Facebook para
ajudar nisso. Em fevereiro, Alexander Nix [CEO] disse aos
membros do Parlamento do Reino Unido que a pesquisa de Kogan
“provou ser infrutífera”.”

36. “Eleições 2018: Como telefones de usuários
do Facebook foram usados por campanhas
em 'disparos em massa' no WhatsApp”
• “Para alcançar mais eleitores, campanhas políticas
obtiveram neste ano programas capazes de coletar os
números de telefones de milhares de brasileiros
no Facebook e usá-los para criar grupos e enviar
mensagens em massa automaticamente no WhatsApp.
• Esse tipo de ferramenta custa até R$ 1.300 e é facilmente
encontrado na internet, com nota fiscal ou mesmo pirata,
evitando rastros em prestações de conta. Há dezenas de
vídeos explicativos no YouTube e nos sites das empresas
que oferecem esses serviços, acessíveis mesmo para
quem tem pouca experiência com computadores.” (BBC
News Brasil, 20/10/2018

37. “Mil telefones em 10
minutos”
• “A BBC News Brasil apurou que a técnica foi usada, ao
menos, em campanhas de candidatos a deputado
estadual, federal e ao Senado. Também já havia sido
usada no pleito de 2016 por candidatos a vereador e ao
menos um candidato a prefeito.”
• “Em menos de dez minutos e de dez cliques, é possível
reunir quase mil telefones de usuários, já segmentados
por curtidas na página de determinado candidato,
gênero e cidade, e criar automaticamente grupos com
até 256 pessoas cada a partir da lista dos telefones
coletados.”

38. Programas de envio
automático de mensagens
• “Os programas de envio automático de mensagens usam
contatos de planilhas que os usuários adicionam ao sistema. A
criação dessas listas usa, em geral, quatro estratégias:
1. coleta de dados de usuários de redes sociais por meio de
robôs,
2. telefones informados voluntariamente por simpatizantes ou
clientes,
3. compra de bases de dados vendidas legalmente (como a
da Serasa) ou
4. furto de informações de empresas telefônicas.”

39. Fake News governamentais
• “A China é outro ator importante cuja atividade online,
incluindo bots e trolls, é ativamente investigada por
pesquisadores. King et al. (2017) mostram como os
“centros-50” chineses são usados para fornecer uma
distração positiva das discussões de quaisquer questões
controversas.
• Miller (2017) mostra que até 15% de todos os comentários
feitos em 19 sites de notícias populares na China são
feitos por astroturfers do governo. Tsay (2017) mostra
como o astroturfing do governo chinês funciona na
prática, usando dados sobre contas oficiais da polícia no
Sina Weibo.”

40. Freedom on the Net 2017
• Táticas de manipulação e desinformação online tiveram um papel
importante nas eleições em pelo menos 18 países no ano passado,
incluindo os Estados Unidos.
• Táticas de desinformação contribuíram para o sétimo ano consecutivo de
declínio geral da liberdade na Internet, assim como o aumento das
interrupções no serviço de internet móvel e o aumento dos ataques físicos
e técnicos aos defensores dos direitos humanos e à mídia independente.
• Um número recorde de governos restringiu o serviço de internet móvel
por razões políticas ou de segurança, muitas vezes em áreas povoadas
por minorias étnicas ou religiosas.
• Pelo terceiro ano consecutivo, a China foi a nação que mais restringiu a
liberdade na Internet, seguida pela Síria e Etiópia.