designs experimentais multi-estágio em pesquisa comunicação política

1. Capítulo 11
Designs Experimentais Multi-Estágio em Pesquisa Comunicação Política
Glenn J. Hansen
Departamento de Comunicação
University of Oklahoma
Michael Pfau
Departamento de Comunicação
University of Oklahoma
Experimentalistas em comunicação política dependem fortemente dos resultados de um
único evento, em oposição aos efeitos de longo prazo. Isso é lamentável, dada a
instabilidade das atitudes políticas. Mais de 50 anos atrás Converse (1964) argumentou
que as atitudes políticas da maioria das pessoas são superficiais e, portanto, instáveis.
Como resultado, as respostas variam quando as mesmas perguntas são feitas em dois ou
mais pontos no tempo. Converse (1964) cunhou o termo "não-atitudes" para caracterizar
as crenças políticas da maioria dos adultos norte-americanos. Asher sustenta que "a
presença de não-atitudes é um dos problemas mais desconcertantes em pesquisa de
opinião pública "(1998, 26 p.). O problema da instabilidade nas respostas das pessoas às
consultas sobre suas preferências entre os candidatos ou suas atitudes sobre questões tem
irritado os estudiosos da opinião pública ao longo de décadas e explica a volatilidade
aparente encontrada na opinião pública nos resultados das pesquisas (Asher, 1998;
Bishop, 1990; Erickson, Luttbeg, & Tedin, 1980).
O problema pode vir do fato de que a maioria das pessoas não têm crenças estáveis sobre
questões políticas, o que é a posição da Converse. Ele pode decorrer de erro de medição,
que é um defeito intrínseco para muitas medições em ciências sociais, como Achen (1975)
argumenta. Ou, o problema pode ser um produto de ambas as considerações. Zaller (1994)
fornece uma explicação baseada em "ambivalência." Mesmo que as pessoas possuam
"crenças significativas" sobre questões políticas, eles respondem aos questionários
baseados no "topo das considerações de cabeça" e, portanto, os nossos instrumentos
somente capturam parte de suas crenças (1994, pp 278, 280).
Independentemente da causa, o problema da instabilidade da resposta a perguntas sobre
atitudes políticas é um enigma para os estudiosos de comunicação política, que assumem
que as respostas dos respondentes são, na verdade, reflexos significativos do que os
entrevistados pensam e sentem. Este problema é ampliado pela confiança na coleta de
dados de um único evento, qual seja a pesquisa.
Obviamente, as questões colocadas em um projeto de estudo, coleta de dados e análise de
estratégias empregadas em uma investigação e, às vezes, as perguntas que um pesquisador
procura responder a mandado de multi-estágio de coleta de dados. No entanto, acima e
além disso, afirmamos que as recolhas de dados de múltiplos estágios são superiores aos
instantâneos isolados de crenças políticas, sentimentos e atitudes, devido à instabilidade
das respostas aos cidadãos.

2. Neste capítulo procura-se incentivar mais multi-estágio projetos experimentais em
pesquisa em comunicação política (Instamos também projetos de pesquisa mais
longitudinais; consulte o Capítulo 2, este volume). Na próxima seção, vamos articular
várias abordagens para experimentos multi-estágio e ilustrá-los com exemplos tirados da
bolsa de estudos de comunicação política. Em seguida, vamos examinar duas questões
importantes na pesquisa experimental: realismo validade (mundano, experimental e
psicológica) e externo. Fechamos com um resumo dos nossos principais argumentos e
observações
Abordagens de multi-fase em pesquisa experimental
Nossa primeira tarefa é articular várias abordagens diferentes para multi-estágio em
projetos experimentais. No início, nós queremos diferenciar abordagens da frase projeto
experimental. Como é o caso com muitos termos, "design", "projeto de pesquisa", ou
"projeto experimental" são definidos de forma diferente por diferentes autores (Pedhazur
& Pedhazur Schmelkin, 1991); portanto, não podemos confiar em uma única definição
prévia desses conceitos. Geralmente, o desenho experimental refere-se a uma
configuração experimental particular. Por exemplo, um delineamento experimental
utilizado poderia utilizar um design Salomão de quatro grupo ou um pós-teste somente
com a concepção de grupo controle; ver Campbell e Stanley (1963) por sua descrição
detalhada de 16 modelos diferentes experimentais / quase-experimentais. O uso da
abordagem experimental difere de design. Nós preferimos usar abordagens por duas
razões. Em primeiro lugar, abordagens experimentais devem ser consideradas antes da
determinação design. Em segundo lugar, independentemente do que decisão é tomada no
nível abordagem, o pesquisador ainda tem toda a variedade de modelos experimentais
para escolher. Por exemplo, digamos que um pesquisador determine que a nível
abordagem ele quer utilizar uma coleção de dados multi-estágio com um componente
aleatório (definido abaixo); uma decisão ainda deve ser tomada sobre qual projeto
experimental específico (por exemplo, pré-teste pós-teste, pós-teste somente) para usar.
Obtivemos quatro abordagens experimentais a partir das literaturas da metodologia
experimental, da comunicação política e ciência política. As quatro abordagens incluem:
(1) coleta de dados em diversos estágios com a randomização, (2) a implementação
sequencial, (3) a abordagem de desfecho em cascata, e (4) uma abordagem de sistema
espirais de reforço. Deve notar-se que estas considerações não são mutuamente
exclusivas. Um único estudo poderia incorporar tanto a coleta de dados de múltiplos
estágios com randomização e implementação sequencial. A articulação destas abordagens
devem fornecer pesquisadores com opções úteis para considerar durante a fase de
planejamento de suas pesquisas.
A primeira abordagem é bastante simples e parece ser a mais utilizado na pesquisa em
comunicação política. Referimo-nos a esta abordagem como multi-estágio com um
componente aleatório. É claro que, sem atribuir participantes aleatoriamente para
diferentes condições experimentais, este não seria considerado um estudo experimental
(em função dos dados, que pode ser considerado como um quase-experimento, ver
Campbell & Stanley, 1963). Ao atribuir aleatoriamente os participantes a diferentes
condições experimentais, esta abordagem satisfaz os critérios clássicos para um estudo
experimental (Campbell & Stanley, 1963). O objetivo desta abordagem é determinado

3. para permitir que o investigador avalie o impacto da manipulação depois de algum
período; em outras palavras, para manipular a causa e avaliar o efeito em algum momento
no futuro. Em contraste, a experiência única não tem interesse nessa dimensão
longitudinal. Dependendo da investigação, o intervalo entre a manipulação e a avaliação
pode ser medido em milissegundos (por exemplo, Lodge & Taber, 2005; Morris, Squires,
Taber, & Lodge, 2003), os dias (por exemplo, An& Pfau, 2004; Iyengar e Kinder, 1987;
anteriores e Lupia, 2008), ou mesmo semanas (por exemplo, Gerber, Verde, e Larimer,
2008). Por exemplo, a pesquisa de explorar o efeito de iniciação de um estímulo político
subliminar pode examinar o efeito dentro de um milissegundo de manipulação e, em
seguida, novamente após alguns minutos terem decorrido (em oposição a somente
medição imediata após o estímulo ser aplicado). Da mesma forma, a pesquisa examinando
os efeitos de visualização de um debate político pode examinar os efeitos de vários dias
após o debate ter sido visto (mais uma vez, ao invés de apenas medir o efeito do debate
dentro de minutos após vê-lo). Em muitos casos, em comparação com a abordagem de
um único evento (por exemplo, a exposição a um debate político seguido imediatamente
por medida do efeito), a abordagem multi-estágio com randomização deve ser
teoricamente atraente para os experimentalistas de comunicação política.
Um exemplo de pesquisa que emprega uma abordagem multi-estágio com um
componente aleatório são Iyengar e Kinder (1987) obra clássica. Como parte de sua
abordagem experimental, Iyengar e Kinder recrutaram participantes para ver notícias de
televisão manipuladas por vários dias sucessivos. Os pesquisadores editaram os
noticiários para inserir determinado conteúdo de notícias (ou seja, histórias sobre
investigar defesa, poluição e economia) e remover conteúdo indesejado. Respostas dos
participantes foram coletadas no início e no final do estudo. O objetivo da Iyengar e
Kinder foi investigar experimentalmente a hipótese de definição de agenda de uma
perspectiva cognitiva (ver Capítulo 20, deste volume) e para examinar os efeitos de
priming em um contexto de comunicação política.
O trabalho é, duas décadas após a sua publicação, um modelo de pesquisa em
comunicação política. Seus estudos empregaram uma abordagem multi-estágio com um
componente aleatório. A força significativa desta pesquisa, e um objetivo óbvio
construído no projeto, é reforçada a validade externa. Isto é, em grande medida, a situação
experimental que Iyengar e Kinder criaram e reflete como as notícias são consumidas em
uma base diária.
Uma segunda abordagem experimental multi-estágio é o que chamamos de
implementação como sequencial. Há uma diferença importante entre esta e a abordagem
apenas esboçada. Especificamente, a razão para empregar implementação sequencial é a
aplicação plena da manipulação. Em uma implementação sequencial, a manipulação não
pode ser efetivamente realizada em uma única configuração; por conseguinte, a
manipulação é introduzida ao longo de um período prolongado. Esta difere da multi-fase
com uma abordagem com componente aleatório em que o primeiro componente inclui
estágios múltiplos apenas para examinar o impacto da manipulação após um período de
tempo. Por contraste, o método de implementação sequencial tem um componente multi-estágio,
porque é o melhor ou apenas meio válido para a manipulação de certas condições.

4. Pesquisa inoculação de Pfau ilustra a abordagem de implementação sequencial. Seu
estudo de inoculação na política sugere a eficácia da estratégia de inoculação para
promover resistência à influência dos patrocinados pelo candidato ou patrocinado pela
publicidade do partido político (Pfau & Burgoon, 1988; Pfau, Holbert, Szabo, &
Kaminski, 2002; Pfau, Kenski, Nitz, e Sorenson, 1990), a influência da imprensa e das
reportagens de televisão reportagens (Pfau et al, 2006; Pfau et al, 2008), ou o impacto
insidioso da espiral do silêncio (Lin & Pfau, 2007). Inoculação requer investigação na
concepção experimental acoplada com aplicação sequencial ao longo de um período de
dias, se não semanas ou meses. A investigação de An e Pfau de (2004) sobre uso de
inoculação em debates políticos televisivos ilustra essa abordagem.
O estudo de An e Pfau(2004) foi realizado em três fases, ao longo de um período de um
mês. A primeira fase do estudo foi necessária recolher as preferências candidatos iniciais.
As medidas iniciais permitiram aos pesquisadores para atribuir aleatoriamente os
participantes a condições de tratamento e, mais importante, para estratificar a amostra
com base nas preferências (o que garante que a atribuição era aleatória com relação a
atitudes iniciais). A segunda fase contou com a manipulação experimental,
especificamente, a inoculação contra a influência de ataques ao candidato apoiado pelo
espectador em relação a uma condição de controle sem inoculação. Esta fase também
permitiu avaliar a ameaça, um componente teórico fundamental no processo de
inoculação. A terceira fase do estudo foi realizada várias semanas depois que os
participantes tinham sido inoculados. Durante esta fase, todos os participantes viram um
debate televisionado com os candidatos que foram objeto da mensagem inoculada. Depois
de ver o debate, todos os participantes preencheram um questionário destinado a avaliar
suas atitudes para com os candidatos nos debates.
Logisticamente, seria possível realizar o mesmo estudo em um único ambiente; no
entanto, esta abordagem tem níveis significativamente mais baixos de validade interna.
Primeiro, estratificando a amostra deste estudo atingiram níveis mais elevados de
validade interna (ou seja, podemos estar mais confiantes de que a manipulação foi
responsável pelo resultado, que o resultado não foi devido aos grupos sendo desigual
antes da manipulação). A estratificação pode ser possível em uma única configuração
experimental, mas parece que a logística de tentar alcançar este objetivo seria levantar
suspeitas com os participantes, ameaçando validade interna. Em segundo lugar, e mais
importante ainda, este estudo demonstrou que a inoculação ainda era eficaz várias
semanas após ter sido induzida. Esta eficácia a longo prazo fala sobre a validade do estudo
e que não teria sido possível com um único experimento.
Uma terceira abordagem é o que estamos nos referindo a como a abordagem de resultado
em cascata. O objetivo aqui é determinar como um estímulo influencia algum resultado
futuro. Por exemplo, a elaboração de uma notícia pode ser manipulada (por exemplo,
episódica ou temática) e, em seguida, o efeito de enquadramento pode ser avaliado em
relação ao consumo e interpretação de conteúdo de notícias através de diferentes canais
de mídia. O objetivo dessa abordagem é replicar o comportamento naturalista. Neste
exemplo, é razoável concluir que o conteúdo de jornal não é consumido num vacum e
seria consumido juntamente com outras formas de comunicação. Em teoria, esta
progressão em cascata poderia continuar em qualquer número de efeitos, que, em seguida,

5. tornar-se-ia uma causa. No entanto, na aplicação, o número de progressões é limitado por
considerações de ordem prática (por exemplo, fadiga, participante logístico). Parei aqui
Um exemplo publicado acende abordagem experimental particular. Holbert, Caplan, e
Mortensen (2007) utilizam uma abordagem em cascata em sua investigação do
documentário de Michael Moore Fahrenheit 9/11 e a forma como a exposição a ele
posteriormente influenciou a visualização de um debate presidencial que contou com
George W. Bush (o assunto do filme) e John F. Kerry. Na primeira fase do estudo, um
conjunto de medidas iniciais foram reunidos para estratificar a amostra.
A segunda fase do estudo envolveu a manipulação (isto é, película ou sem película) e um
segundo conjunto de dados. A fase final teve participantes visualizando um debate
presidencial completo ao vivo e uma outra coleta de dados. De interesse para esses
pesquisadores foi como as reações emocionais dos participantes para o filme (alegria e
raiva) influenciou a confiança nos candidatos após a exibição do debate. Embora os
resultados específicos para este estudo não sejam de interesse para a discussão atual, a
abordagem em cascata resultado parece ter utilidade evidente quando comparado com um
evento de design simples.
A quarta e última abordagem experimental envolve um sistema de espirais de reforço.
Slater (2007) detalha a lógica teórica associada a esta abordagem, que envolve a
influência do uso de mídia em alguma variável de resultado e, em seguida, a influência
do resultado no uso adicional de mídia. Como Slater (2007) postula, "algum tipo de uso
de mídia influencia crenças e comportamentos correspondentes, que a crença ou
comportamento, por sua vez aumenta a esse tipo de uso de mídia. . . em seguida, o
processo deve ser reforçado mutuamente ao longo do tempo "(pp. 284-285). Há
semelhança entre a abordagem resultado reforça sistema de espirais e em cascata. No
entanto, não existe uma distinção chave.
Esta distinção diz respeito à natureza do reforço do sistema de espiral. No sistema de
espiral, o uso da mídia influencia o resultado e esse resultado influencia o uso da mídia.
O sistema de espiral pode levar tanto a uma maior utilização de mídia (sistema de espiral
ascendente) ou menor uso de mídia (sistema espiral descendente).
O estudo de Eveland, Shah e Kwak (2003) sobre o uso de mídia e a questão do
conhecimento na campanha presidencial de 2000 ilustra a abordagem do sistema em
espiral. Neste estudo, os pesquisadores descobriram que atenção às notícias no tempo 1
previu uma questão de conhecimento no tempo 2. Eles ainda relataram que o inverso
também era o caso. Ou seja, a questão do conhecimento no tempo 1 previu atenção às
notícias no tempo 2.
Resumindo, o uso de mídia afetou os níveis da questão do conhecimento e questões de
conhecimento anteriores influenciaram o posterior uso de mídia. Até o momento, a
abordagem do sistema de espirais reforçando não tem se destacado em experiências de
comunicação política. No entanto, como Slater (2007) mantém, este projeto é promissor,
especialmente para os acadêmicos de comunicação política.
Experiência em realismo: várias fases

6. Independentemente da abordagem experimental, as preocupações de design podem surgir
sobre o realismo da pesquisa em comunicação política. Em comparação com um
experimento único, o realismo tem um significado adicional em um estudo multi-estágio.
Isso decorre da natureza multi-estágios da pesquisa e da necessidade de tornar o
prolongado encontro o mais realista possível para todos os participantes. Metodologias
experimentais (por exemplo, Aronson & Carlsmith, 1968; Aronson et al, 1994, 1998) a
distinção entre três tipos de realismo-experimental, mundano, e psicológico. Segundo
Aronson e Carlsmith (1968) o realismo experimental é alcançado se o estudo está a
envolver os participantes, isto é, se eles levam o estudo a sério e se o estudo tem um
impacto sobre eles. Um segundo tipo de realismo é mundano. Estudos experimentais
evidenciam realismo mundano na medida em que "os eventos que ocorrem em um
ambiente de laboratório são susceptíveis de ocorrer no 'mundo real'" (p. 22). Uma terceira
forma é o realismo psicológico (Aronson et al., 1994, 1998). Preocupações sobre o
realismo psicológico "quão bem um experimento capta os processos psicológicos, como
as que ocorrem na vida cotidiana" (Aronson et al., 1994, p. 58). Aronson e Carlsmith
(1968) argumentam que essas formas de realismo não são conceitos mutuamente
exclusivos. Um estudo poderia manifestar todos os três, ou apresentam um elevado grau
de um tipo e uma quantidade menor dos outros dois. A meta para os experimentalistas de
comunicação política deve ser o de maximizar as três formas de realismo.
Existem vários paralelos entre realismo e validade experimental; dado esses paralelos, é
importante fazer a distinção entre esses conceitos. Em primeiro lugar, Campbell (1957)
sustenta que a validade de um estudo experimental pode ser avaliada através de dois
critérios: .1 validade interna e externa aborda a questão de saber se a manipulação
experimental produziu o resultado em questão. Dito de outra forma, um estudo é válido
internamente na medida em que é determinado que a manipulação da causa ou estímulo
conduziu às mudanças no critério-ou resultado medida. Por outro lado, a validade externa
diz respeito a representatividade ou generalização (Campbell, 1957). A questão aqui é
saber se os resultados de um estudo experimental em particular podem ser generalizados
para outras populações ou configurações.
Quais são os paralelos entre os três tipos de realismo (experimentais, mundanos, e
psicológicos) e os critérios de validade? Em primeiro lugar, a validade interna é condição
sine qua non para um delineamento experimental utilizado ser em tudo significativo
(Aronson & Carlsmith, 1968; Campbell & Stanley, 1963; Pedhazur & Pedhazur
Schmelkin, 1991). Se um estudo não é válido internamente, então não faz sentido
considerar ainda o grau em que ele é realista. Em outras palavras, se não temos a confiança
de que a manipulação da variável independente levou a mudanças na variável dependente
por que, então, seria o realismo da matéria de estudo? Um claro paralelo entre o realismo
e a validade é que a validade interna de um estudo pode ser abordada por ajudar questões
relacionadas com o realismo (Aronson & Carlsmith, 1968). Por exemplo, Campbell e
Stanley (1963) articulou diversos fatores que podem comprometer a validade interna de
um estudo. Um desses fatores, particularmente relevantes para uma experiência multi-estágio,
é "a mortalidade experimental" (isto é, atrito, ou a perda diferencial dos
participantes dos grupos experimental / controle). Neste caso, o investigador não pode ter
a certeza de que a alteração da variável dependente é produzida por meio da manipulação
de uma variável independente ou porque os participantes a partir de, por exemplo, a
condição experimental sair do estudo e aqueles que desistiram diferem de maneira

7. significativa daqueles que permaneceram. É bastante plausível suspeitar de que o
realismo de um estudo poderia impactar a mortalidade experimental. Especificamente, os
altos níveis de realismo experimental provavelmente afetam os níveis de atrito. Se o
estudo é envolver o participante, se o estudo convence os participantes a assumir a tarefa
e definir a sério, e se o estudo tem significado para o participante, pode-se prever que
haveria menos atrito do que se nenhuma dessas qualidades estivessem presentes.
Para entender a distinção entre os tipos de realismo em pesquisa experimental
longitudinal, examinamos o trabalho experimental de Iyengar e Kinder (1987) como um
exemplo de um estudo experimental de vários estágios bem implementado. Em primeiro
lugar, as notas de estudo no alto realismo experimental. Esse tipo de realismo diz respeito
ao envolvimento e engajamento dos participantes no experimento. Manter níveis de
envolvimento ao longo do tempo pode ser um desafio. Iyengar e Kinder alcançam
realismo experimental, expondo os participantes a noticiários reais que foram
originalmente ao ar na noite antes dos participantes virem. Comparar o grau de realismo
aqui com um estudo que escolheu semanas de notícias que valiam à pena antes de iniciar
um estudo (isto é, a novidade pode ser de uma semana ou mais de tempo). Isto seria
semelhante ao uso de propagandas políticas como material de estímulo em campanhas
fictícias (campanhas em que tanto os candidatos ou o contexto eleitoral é artificial aos
participantes do estudo, que tem sido o caso em muitos estudos sobre a influência da
propaganda política). Este estudo também atinge realismo experimental, tendo os
participantes visto noticiários que foram "discretamente alterados", para que eles não se
destaquem como sendo experimentalmente manipulado. Claramente, se os noticiários
pareciam artificiais, eles podem ter provado ser uma distração para os participantes,
diminuindo assim o realismo experimental.
Em seguida, voltando-se para o realismo mundano, o estudo Iyengar e Kinder tem níveis
mais baixos de esta forma de realismo. Como um lembrete, realismo mundano diz
respeito à medida em que os eventos do estudo poderia ocorrer no mundo real.
Certamente, alguns dos participantes desta investigação provavelmente assistiu pelo
menos uma notícia nacional em uma determinada semana. A questão aqui é até que ponto
a experiência de visualização de notícias experimentais compara-se com a visualização
de notícia reais fora do estudo. É improvável que todos os participantes assistam o
noticiário durante cinco dias consecutivos, ou sentar-se por todos os noticiários quando
assistem notícias. 2 Em vez disso, os participantes que assistem noticiários noturnos,
provavelmente, o fazem enquanto fazem outras coisas (por exemplo, ajudar as crianças
com a lição de casa ou realizando tarefas domésticas). Finalmente, é improvável que os
participantes iriam assistir o noticiário da noite com um grupo de estranhos em um
ambiente relativamente desconhecido. Todos esses fatores levam a perguntas sobre os
níveis de realismo mundano neste estudo.
O terceiro tipo de realismo, psicológico, também podem ser examinados vis-à-vis na
pesquisa de Iyengar e Kinder. Realismo psicológico diz respeito a forma como o estudo
captura processos psicológicos semelhantes aos que ocorrem na vida cotidiana. Os efeitos
psicológicos que Iyengar e Kinder estavam preocupados são aqueles os relacionados com
a criação e o priming agenda. Dado o que sabemos, ou não sabemos, sobre os mecanismos
psicológicos envolvidos com essas duas teorias, é difícil ter certeza sobre a avaliação do
realismo psicológico deste trabalho. Uma reação é que qualquer definição de agenda e

8. efeitos do priming deve psicologicamente funcionar da mesma forma nos limites deste
estudo, como eles fazem na vida real. No entanto, uma outra reação, relacionada com as
preocupações com o realismo mundano, é que psicologicamente esses participantes
estavam em um lugar muito diferente do que seria normalmente. A linha inferior aqui é
que os argumentos poderiam ser feitos a favor ou contra os níveis ideais de realismo
psicológico.
Nós encorajamos experimentalistas fazendo um trabalho multi-estágio para levar o
realismo ao seu empreendimento experimental sério. Especificamente, os pesquisadores
precisam avaliar os três tipos de realismo que temos abordados: o experimental, mundano,
e psicológico. Na concepção de um estudo, os pesquisadores devem tentar maximizar os
três tipos de realismo. No entanto, eles precisam reconhecer que pode haver trade-offs.
Determinado estudo pode ser capaz de alcançar altos níveis de realismo experimental e
psicológico, mas menos do que os níveis ideais de realismo mundano. Nosso conselho é
que, se os níveis de realismo estão aquém do ideal, os pesquisadores precisam replicar
resultados (ver Campbell & Jackson, 1979; Rosenthal, 1991, para a importância da
pesquisa de replicação nas ciências sociais).
A meta para a pesquisa de replicação deve ser o de abordar os baixos níveis de realismo
dos estudos originais. Mas ao fazer isso, não pode ser diminuído o realismo para um dos
outros critérios. No entanto, se todos os estudos são considerados em conjunto, uma
melhor compreensão do processo em questão deve ser alcançada.
Experiências externas: validade e multi-estágios
Como mencionado acima, a validade externa diz respeito ao grau ao qual um estudo
experimental particular pode ser generalizado a outras populações ou configurações. O
argumento que queremos fazer é que, para alguns estudos experimentais (de longas ou
curta duração), a ênfase indevida pode ser colocada sobre as questões relacionadas com
a validade externa. Baxter e Babbie (2004) oferecem uma ressalva sobre a pesquisa
experimental, ou seja, que “os processos de comunicação que ocorrem em um ambiente
de laboratório podem não necessariamente ocorrer em mais configurações Sociais
naturais" (p. 228). Além disso, Brader (2006) observa que,
"Estabelecer causalidade é a força característica de experimentos. Na falta de inspirar
confiança na generalidade dos resultados é a sua fraqueza notória "(p. 181). Nós não
reivindicamos que a generalização dos resultados seja importante. Há momentos em que
os experimentalistas multi-estágio precisam dar ênfase a validade externa do seu trabalho;
No entanto, isto nem sempre é o caso. As razões para isso são discutidas a seguir.
Ao considerar a generalização dos resultados experimentais, é vantajoso para primeiro
examinar as ameaças específicas à validade externa. Campbell e Stanley (1963) articulam
quatro fatores que comprometem a validade externa. O primeiro é um efeito reativo de
um teste. Em outras palavras, um pré-teste pode aumentar ou reduzir a sensibilidade de
um respondente a um estímulo. Sensibilidade anormal pode dar respostas a uma
representatividade variável experimental do que a reação de um grupo não testado seria.
Outra ameaça diz respeito como uma amostra não representativa poderia levar a
resultados tendenciosos. Esta ameaça é provavelmente citada mais frequentemente com
a pesquisa que envolve estudantes universitários. Às vezes, as manipulações são

9. intrincadas e são melhor testada com alunos de graduação. A questão aqui não é se os
estudantes universitários generalizam para a população mais ampla de potenciais eleitores
(obviamente, eles não fazem), mas se o processo ou os efeitos revelados pela manipulação
generaliza a teoria que está sendo testada. Se a pesquisa é focada na teoria de testes, e se
o estudo em outros aspectos reúne condições de realismo, descrito anteriormente, em
seguida, problemas de validade externa são uma preocupação menor. Em terceiro lugar,
se os participantes reagem de uma certa maneira para o arranjo experimental, o efeito
induzido não pode exercer para as pessoas expostas ao estímulo de um estudo não
experimental. Finalmente, Campbell e Stanley argumentam que a validade externa de um
estudo experimental pode sofrer por causa da interferência causada por vários
tratamentos.
Isto é, o efeito de um tratamento inicial não pode ser apagado, quando um segundo
tratamento é aplicado; portanto, qualquer interpretação dos resultados deve levar os vários
tratamentos em consideração. Nós não temos problema com essas ameaças que Campbell
e Stanley esboçam. Na verdade, nessas circunstâncias, em que a validade externa (isto é,
generalização) é o objetivo da pesquisa, essas ameaças garantem sérias considerações.3.
Nosso argumento é que, dependendo dos objetivos da pesquisa, há casos em que a
validade externa do estudo é menos relevante.
Mook (1983) e Aronson et al. (1998) abordam esta questão, observando os objetivos para
a pesquisa experimental, além de validade externa. No que se segue vamos discutir esses
objetivos, no contexto específico de multi-estágio de pesquisa experimental.
Em primeiro lugar, o pesquisador deve estar se perguntando se algo pode acontecer, em
vez de algo acontecer normalmente (Mook, 1983). Se um estímulo provoca um
determinado resultado a uma pergunta muito diferente, do que se um estímulo produz um
resultado generalizável. Se o objetivo da pesquisa é o primeiro, então a validade externa
do estudo é uma preocupação menor. O objetivo aqui é testar uma teoria ou hipótese de
relacionamento. Sem dúvida, a pesquisa programática deverá abordar questões de tempo
relacionada à validade externa; no entanto, pelo menos no início, este não tem que ser o
caso. Por exemplo, pouco se sabe sobre como a apresentação de notícias através da
Internet afeta a tradicional teoria comunicação política (por exemplo, definição de
agenda). Agora, é comum em sites de mídia de notícias ser capaz de fornecer feedback
para uma determinada notícia. Em muitos casos, este conteúdo gerado pelo usuário é
acessível a qualquer um que queira vê-lo. A questão é: pode esse feedback do público
mudar a dinâmica da teoria da definição da agenda? Nosso objetivo aqui seria para testar
a teoria. Um experimento multi-estágio pode ser concebido com esta teoria de testes em
mente. A medida manipulada poderia ser o tom do conteúdo gerado pelo usuário ou
feedback (por exemplo, apoio à uma determinada notícia particular, oposição, e misto).
Se o objetivo do estudo é responder à pergunta - podem estes comentários influenciar a
relação tradicional de definição de agenda? - então críticas relacionadas com a validade
externa estão equivocadas. Os pesquisadores, é claro, precisam ser claros sobre seus
objetivos (por exemplo, teste de teoria) e não devem superestimar a validade externa dos
seus resultados.
Um estudo experimental de longo prazo também pode querer produzir condições que não
têm analógico na vida real, onde generalizar para o mundo real não teria sentido (Aronson

10. et al, 1998; Mook, 1983). Um exemplo aqui é o de Milgram (1974) de obediência notória
para experimentos de autoridade. Parece pouco provável que o ambiente de laboratório
(por exemplo, sala estéril, um gerador de choque falso, os cientistas de bata branca), em
grande parte do trabalho de Milgram se generalizar para qualquer cenário do mundo real.
Por exemplo, poderia a configuração de laboratório de Milgram ser generalizada para os
crimes cometidos nos campos de concentração por soldados alemães ou para as
humilhações da prisão de Abu Ghraib? Não parece provável. Participantes de Milgram
foram convidados para entregar "choques" para estranhos que foram mal em um teste de
memória - isto generaliza o que os soldados alemães enfrentaram? Generalizar o que
aconteceu na prisão iraquiana com os soldados norte-americanos? Mais uma vez, não
parece provável.
Todavia, as conclusões, então, não têm nenhum valor? Isto também parece improvável.
Outro exemplo de pesquisa que não tem analogia na vida real seriam os "experimentos
aglutinados" que Iyengar e Kinder (1987) fizeram como parte de seu exame de definição
de agenda. Nos experimentos de aglutinação, os pesquisadores tiveram participantes que
visualizavam seis reportagens de televisão, uma após outra, todos relacionados com a
defesa, energia, ou a inflação. Este não espelha a experiência de visualização de notícia.
Tanto os exemplos de Milgram como os de Yvengar e Kinder foram realizados em um
ambiente que não replicar "o mundo real"; no entanto, ambos os estudos produziram
influentes resultados. O trabalho de Milgram, apesar da artificialidade, ajudou-nos a
compreender como, quando as pessoas saem de sua rotina normal, elas estão dispostas a
violar as regras e convenções normais, a ponto de prejudicar um completo estranho,
porque uma figura de autoridade diz para eles fazerem isto.
Os estudos de Iyengar e Kinder nos deram uma melhor compreensão da definição de
agenda por meio de uma maior "calibração precisa" das condições de tratamento - notícias
mostradas aos espectadores - do que já tinha sido o caso (Iyengar e Kinder, 1987, p. 21).
O trabalho experimental é frequentemente alvo de críticas pelo que Mook (1983) chama
da abordagem da lista de verificação, que consiste em examinar um determinado estudo
experimental e verificando fora as diferenças entre o "mundo real" e o "mundo
experimental." No final, a experiência é considerada inválida se há mais diferenças do
que semelhanças. Alguns estudos experimentais multi-estágio são particularmente
suscetíveis a essa crítica, dado o contato prolongado que os participantes têm com a
situação experimental. Como já sugerido, estas críticas são, às vezes, exageradas.
Claramente, se os pesquisadores afirmam que os seus resultados são válidos
externamente, são garantidos esses tipos de críticas. No entanto, como já indicado, este
não pode ser o objetivo da pesquisa. No entanto, não parece haver muita confusão entre
os pesquisadores (e revisores) nesta área.
Em parte, nós pensamos que esta confusão sobre os objetivos da pesquisa decorre de
equívoco das diferenças pesquisas orientadas para o processo versus pesquisa orientada
para o problema (Aronson et al., 1998).
Investigação orientada para o problema é semelhante à pesquisa aplicada ou o que Zanna
e Fazio (1982) se referem como "é dúvida" (por exemplo, há um efeito ou se há um
fenômeno). Aronson et al. (1998) indicam que os pesquisadores orientados para os
problemas estão principalmente interessados em estudar um fenômeno que eles querem

11. entender e possivelmente mudar. Este tipo de pesquisa mais provável tem validade
externa como objetivo, mais ainda, após estudos iniciais serem conduzidos.4 Uma vez
que tenha sido determinado que não existe um efeito, a generalização é o efeito mais
importante do que os resultados replicantes que já tenham sido determinados.
Investigação orientada para o processo, pelo contrário, tem como objetivo os mecanismos
subjacentes responsáveis por um fenômeno (Aronson et al., 1998). Zanna e Fazio (1982)
indicam que essas metas muitas vezes referem-se a "quando" as perguntas (ou seja, as
questões relacionadas com moderação) ou "como" questões (ou seja, questões
relacionadas à mediação). Investigação orientada para o processo seria semelhante à
pesquisa básica.
Com a pesquisa básica, os pesquisadores estão procurando as "melhores respostas para as
perguntas de por que as pessoas se comportam da maneira que elas fazem, puramente por
razões de curiosidade intelectual" (Aronson et al., 1998, 106 p.) Ou de aplicação futura.
Geralmente, aqueles que fazem pesquisa básica não tem um interesse direto na solução
de problemas sociais (Aronson et al., 1998). Em nossa opinião, a pesquisa experimental
que está focada em um processo pode justificar a renúncia a objetivos de validade externa.
Neste momento a comunicação política tem de mover-se mais para um foco no processo
de investigação orientada para o problema. Zanna e Fazio (1982) caracterizam esta
mudança como um movimento a partir das pesquisas de primeira e segunda gerações para
uma terceira geração de descobertas orientadas para o processo. Holbert e Stephenson
(2003) fazem um argumento semelhante por mais investigações orientadas para o
processo de efeitos de mídia.
Em resumo, não estamos sugerindo que os resultados internamente inválidos devem ser
a meta para experimentalistas da comunicação política. Ao contrário, nós mantemos que
os estudiosos de comunicação política devem ser claros sobre seus objetivos. Se o
objetivo da pesquisa é a generalização, em seguida, por todos os meios, o pesquisador
precisa tomar medidas, em um esforço para alcançar esta meta. No entanto, se a pesquisa
está focada em um processo, com o objetivo de compreender como ou se alguma coisa
acontecer, então a construção de teoria deve ser o objetivo, e não generalização. Dada a
necessidade de realizar pesquisas política de comunicação que está focada no processo,
de bom grado renunciar, pelo menos inicialmente, da validade externa para a
compreensão dos processos que ocorrem no domínio da comunicação política.
CONCLUSÃO
Queremos reiterar a nossa convicção de que a recolha de dados multi-estágio é superior
aos instantâneos isolados de crenças das pessoas políticas, sentimentos e atitudes por
causa da instabilidade de suas respostas. É importante ir além de muitos dos estudos
experimentais únicos que os estudiosos de comunicação política têm contado no passado.
A meta aqui tem sido a de incentivar mais multi-estágio de projetos experimentais em
pesquisa em comunicação política. Esperamos que as informações fornecidas neste
capítulo irão ajudar os pesquisadores a alcançar esse objetivo. Experimentalistas devem
primeiro considerar a abordagem experimental adequada para o seu estudo antes de
contemplar um projeto específico. Vemos também a necessidade de considerar as
questões relacionadas com o realismo dos estudos multi-estágio que discutiram três
dimensões de realismo que são de particular preocupação. Finalmente, em relação a

12. validade externa, é importante para os pesquisadores de comunicação política
considerarem cuidadosamente os objetivos de suas pesquisas, para terem certeza de que
esses objetivos se alinham com as possíveis críticas.