Defesa de mestrado realizada em 19/07/2013.

1. “Internet e saúde: Uma proposta de critérios de
avaliação da qualidade para sites de saúde”
Aluna: Ana Paula Bernardo Mendonça
Orientador: Prof. Dr. André Pereira Neto
Turma 2011
Escola Nacional de Saúde Pública Sérgio Arouca – ENSP/Fiocruz
Mestrado Profissional em Política e Gestão de C & T, Inovação em Saúde

2. Motivação
Atuação
na
profissional
na área.
LAISS/ENSP -
Laboratório
Internet, Saúde
e Sociedade, da
Escola Nacional
de Saúde
Pública.
Incentivar a
atuação efetiva
da Escola
Nacional de
Saúde Pública
Sergio Arouca
(ENSP/Fiocruz)
neste tema.
Prestação de
serviço para
sociedade.

3. Uso intensivo das tecnologias de informação e
comunicação.
A Internet como ferramenta de comunicação importante
e estratégico para disseminação da informação em
saúde.
Meio pelo qual um grande número de pessoas ao redor
do mundo buscam informações sobre saúde.
Qualidade duvidosa da informação em saúde
disponível na Internet.
Contextualização
43% dos usuários da
Internet no Brasil buscam
informações em saúde na
Internet (CGI.BR, 2013).
35% dos adultos americanos
procuram descobrir
informações sobre condição
médica na Internet (Pew
Internet, 2013)

4. O que você faz...
Quando tem dúvida sobre algum diagnóstico,
medicamento ou quer conhecer algo sobre saúde?
Qual o risco de buscar
por informação em saúde
no Google?
Contextualização

5. Problema
Problema
Dilúvio de Inform
Levy (2001)
Uma busca no Google realizada em Janeiro de
2013 utilizando o termo “tuberculose” recuperou
da ordem de 5.310.000 registros em língua
portuguesa de variadas origens, características,
finalidades, temas e teores.
Dilúvio de
Informações
Internet
Arca
Filtro

6. • Elaborar uma proposta contendo os critérios para garantia e avaliação da
qualidade de sites de saúde na Web.
Objetivo geral
• Identificar iniciativas nacionais e internacionais de avaliação da qualidade
das informações em saúde na Web;
• Relacionar os critérios de qualidade que foram utilizados;
• Identificar os métodos de aplicação destes critérios;
• Selecionar dentre os critérios, aqueles a serem utilizados em sites de saúde
no Brasil.
Objetivos específicos
Objetivos

7. Como identificar se
um site de saúde é
confiável?
O que se tem feito
para avaliar a
qualidade de
informação na Web?
Que critérios
poderiam ser
utilizados para avaliar
a qualidade de sites
de saúde?
Questões norteadoras

8. Fundamentação teórica
História da Internet Internet Dilúvio de informações
Web 2.0 Web 2.0 Internet e Saúde
Internet e Saúde Informação em saúde Qualidade de sites
Iniciativas nacionais e
internacionais de avaliação
de sites de saúde
Iniciativas internacionais
de avaliação de sites de
saúde
Critérios de qualidade para
informação em saúde na
Web

9. 1 2 3
Elaboração da Proposta de critérios de avaliação de qualidade para sites de saúde
• Descritores: “Sites”, “Avaliação “e
“Saúde” .
• Artigos científicos sobre avaliação
da qualidade da informação em
saúde na web
• Constituído por profissionais de saúde e
grupo multidisciplinar;
• Chancelada por instituição ou
organização internacionalmente
reconhecida,
• Apresentam seus critérios de avaliação
na Internet.
• Verificadas aspectos
similares , complementares
e lacunas dos instrumentos
considerados mais
relevantes.
Análise de 11 iniciativas de
organizações nacionais e
internacionais
Análise de 7 instrumentos
Critérios
Métodos
de
aplicação
Scielo
BVS
Referências
Nacionais
Referências
internacionais
Sites
Critérios
Pesquisa bibliográfica e
pesquisa documental
Metodologia
4

10. Síntese dos estudos selecionados (11 nacionais e 5 internacionais)
Resultados – Etapa 1
Silberg, Lundberg e Musacchio (1997), Jadad e Gagliardi (1998), Gagliardi e Jadad (2002), Risk e Dzenowagis (2001) e Eysenbach et al.
(2002), Silva, Mello e Mion (2005), Lopes (2006), Souza, Luz e Rabello. (2008), Lopes (2008), Leite e Correia (2010), Portal et al. (2010),
Silva e Gubert (2010), Malafaia et al. (2011), Lopes (2012), Silveira, Costa e Lima (2012) e Cubas e Felchner (2012).
• Critérios utilizados: CREMESP, MS,
HON Foundation, AMA e AHRQ;
• Não há padronização;
• critérios versam sobre a
credibilidade da informação;
(autoria, fonte, credenciais, ética e
atualização);
•ausência de critérios de
usabilidade e acessibilidade.
Critérios
• Poucos esforços foram realizados no Brasil;
• A maioria dos trabalhos avaliaram sites sobre
doenças;
• No exterior diversas organizações certificam
sites de saúde;
• Não há notícia de organização pública ou
privada que certifique sites de saúde no Brasil.
• Em geral: Informações de baixa qualidade,
fontes duvidosas, insuficientes, desatualizadas e
pobres em embasamento científico
Avaliação de sites

11. Medidas recomendadas pelos autores para garantir informação de qualidade na Internet.
Resultados – Etapa 1
• Criar portais dedicados exclusivamente às questões de saúde para leigos
(Ministério e Secretarias de Saúde ou Conselhos de Medicina);
• Instituir instrumento padronizado de avaliação da qualidade de sites de
saúde;
• Criar um sistema de acreditação e certificação de sites através de aposição
de um selo de qualidade;
• Despertar nos usuários a importância da presença se um selo de
qualidade nos sites visitados;
• Estimular usuários a utilizar os critérios de avaliação no momento da
consulta ao site
• Divulgar melhor a existência dos documentos brasileiros para verificação
da qualidade da informação

12. Ano Instrumento Organização País Idioma
1996 HONCode Health on the Net (HON) Fundation Suíça 35 idiomas
1997 Discern British Library & University Oxford Reino Unido Inglês
1997 NET Scoring Centrale Santé França
Inglês
Francês
1997
Criteria for Assessing the
Quality of Health Information
on the Internet
Health Information Technology
Institute
EUA Inglês
1999
WMA Sello de
calidad
Colegio Oficial de Médicos de
Barcelona
Espanha Espanhol
2000 AMA Guidelines American Medical Association EUA Inglês
2000 e-Health Code of Ethics Internet Healthcare Coalition EUA Inglês
2001 URAC Seal
American Accreditation of Health
Care Comission
EUA Inglês
2002
Quality Critéria for Health
related Websites
Comission of the European
Communities
União Européia 11 idiomas
2002
Certificación de Páginas Web
Sanitarias
Agencia de Calidad Sanitaria de
Andalucía
Espanha Espanhol
2002
Manual de Ética Para Sites de
Medicina e Saúde na Internet
Conselho Regional de Medicina de
São Paulo
Brasil Português
Fonte: Risk e Dzenowagis (2001) e Lopes (2006).
Resultados – Etapa 2
Iniciativas de organizações ( 1 nacional e 11 internacionais

13. Resultados e Discussão: Iniciativas Internacionais
Organizações governamentais, não-governamentais e associações de classe.
Resultados – Etapa 2

14. Instrumentos
Critérios
Técnico Acurácia Abangência Legibilidade Design
HONCode
Autoridade, Confidencialidade, Crédito,
Propriedade, Patrocínio, Publicidade.
Justificativa Complementaridade Ausente Ausente
NET Scoring
Credibilidade, Aspectos quantitativos,
Aspectos éticos.
Conteúdo Conteúdo Concepção
Conteúdo,
Links,
Concepção
Criteria for
Assessing the
Quality of Health
Information on the
Internet
Credibilidade, Divulgação,
Interatividade, Anúncios.
Conteúdo Conteúdo Ausente
Design
Links
AMA Guidelines
Conteúdo, Publicidade e patrocínio,
Privacidade/ confidencialidade,
Comércio eletrônico.
Conteúdo Conteúdo Conteúdo Conteúdo
e-Health Code of
Ethics
Imparcialidade, Honestidade,
Consentimento livre e esclarecido,
Privacidade, Ética profissional, Parceria
responsável e Responsabilidade.
Qualidade Ausente Ausente Ausente
Quality Critéria for
Health related
Websites
Credibilidade, Divulgação,
Interatividade e Anúncios.
Conteúdo Conteúdo Ausente
Design
Links
CREMESP
Transparência, Honestidade
Consentimento livre e esclarecido, Ética
Médica e Responsabilidade.
Qualidade Qualidade Ausente Ausente
Resultados – Etapa 3
Comparação dos critérios de acordo com as categorias de Eysenbach (2002)
Ausente
Ausente

15. • Somente uma organização estabelece critérios ou recomendações para sites
colaborativos ou Web 2.0;
• Os critérios dos instrumentos analisados são semelhantes a publicação
impressa;
• No geral não há preocupação com Design do site (usabilidade e
acessibilidade);
• Não existe padronização na organização dos critérios e terminologia (Ex:
credibilidade/transparência);
• O critério de legibilidade apresentou-se como o menos abordado;
• Métodos diferenciados para aplicação dos critérios : Códigos de ética ou
conduta, Guia de usuários, Sistemas de acreditação
Resultados – Etapa 3

16. Fonte: Elaboração própria.
Resultados – Etapa 3
•Vantagens: Sem custo para aplicação, recomendado por
especialitas, auxiliam provedores da informação no
desenvolvimento e usuários na identificação de sites de
qualidade.
•Desvantagens: baseado em honestidade, não cobrem
todas as dimensões de qualidade necessárias para o
ambiente da Internet, desconhecimento e dificuldade de
utilização por parte de usuário comum.
Código de conduta
•Vantagens: Participação ativa dos usuários,
descentralizado , baixo custo e feedback.
•Desvantagens: usuário precisa saber utilizar, não garante a
correção de problemas, necessita de equipe de suporte,
tranfere responsabilidade para o usuário.
Guia de usuários
•Vantagens: Realizado por grupo multidisciplinar, garantido
por instituição reconhecida, selo fácilmente reconhecido
•Desvantagens: Custo alto, selos fraudulentos, não há
participação do usuário.
Sistema de acreditação

17. Objetivo: orientar provedores de informação no desenvolvimento de sites e
profissionais na avaliação da qualidade de sites de saúde.
11 categorias
82 critérios
Design
Técnica
Conteúdo
• Abrangência
• Acurácia
• Legibilidade
Dimensão Conteúdo
• Credibilidade
• Publicidade e patrocínio
• Segurança e privacidade
• Aspectos éticos
• Interavidade
• Suporte ao usuário
Dimensão Técnica
• Acessibilidade
• Usabilidade
Dimensão Design
Resultados – Etapa 4
Critérios de qualidade de sites de saúde

18. Proposta de critérios de qualidade de sites de saúde
• A informação está cientificamente fundamentada
com base em estudos, pesquisas, protocolos,
consensos ou prática clínica?
• O site apresenta as fontes confiáveis?
• A origem da fonte é confiiável?
• O site conta com revisão editorial ou comitê
científico?
C1. Acurácia
Dimensão Conteúdo
• O site apresenta informações de diagnóstico?
• O site apresenta informações de prevenção?
• O site apresenta informações sobre
possibilidades de tratamento e suas possíveis
complicações?
• O site apresenta os benefícios e o
desempenho dos tratamentos e/ou dos
produtos?
C2. Abrangência
• A linguagem é adequada para o público de destino?
• As fontes do texto estão em tamanho adequado?
• Os textos das imagens estão legíveis?
• É possível entender o propósito do site?
• O site utiliza palavras técnicas desconhecidas pelo
público em geral?
• A página inicial do site contém muita informação?
• Os textos são muito longos?
• O site apresenta mensagens claras de alertas ou de
erros?
C3. Legibilidade
Agency for Healthcare Research and Quality's
Fontes:

19. • Consta o autor da informação?
• As credenciais dos autores foram fornecidas?
• O site fornece os endereços de contato do autor?
• Consta o responsável do site?
• As credenciais dos responsáveis foram fornecidas
• Consta a data de criação do site?
• Consta a data de atualização do site?
• Consta a data de criação?
• Consta a data de atualização em todas as páginas do site?
• Consta no site a política editorial
• O propósito do site é apresentado?
• O objetivo do site está claro?
• O site menciona o público para o qual as informações se
destinam?
• O site foi certificado por alguma instituição credenciadora?
T1. Credibilidade •Os apoios e parcerias são mencionados?
•Os anúncios publicitários são claramente
identificados?
•Há distinção entre anúncios e informação?
•O site possui política de publicidade?
•Os apoios e parcerias são mencionados?
•Os anúncios publicitários são claramente
identificados?
•Há distinção entre anúncios e informação?
•O site possui política de publicidade?
T2. Publicidade e Patrocínio
• O site solicita autorização do usuário no momento
da coleta de seus dados pessoais?
• O site informa a finalidade da coleta desses dados?
• O sigilo de dados pessoais dos usuários está
assegurado através de uma política de privacidade?
• O site informa o propósito da coleta das informações
pessoais?
• O site possui sistema de proteção e segurança como
o de criptografia de dados?
• O usuário tem a possibilidade de apagar seus dados
registrados no site?
T3. Segurança e Privacidade
Dimensão Técnica
Fontes:
Critérios de qualidade de sites de saúde

20. • Os profissionais de saúde estão cumprindo os
preceitos éticos e legislativos relativos a
profissão?
• Dicas e aconselhamentos em saúde são
prestados por profissionais qualificados?
• O site notifica a necessidade de consulta
médica?
• Os parceiros estão de acordo com os princípios
éticos adotados?
T4. Aspectos éticos
• O site possui ferramentas interativas (Fóruns, chat,
redes sociais)?
• Existem regras estabelecidas para a utilização das
ferramentas interativas?
• O site possui espaço para comentários ou opinião?
• Os mecanismos de opinião funcionam?
• As ferramentas interativas contam com profissional
adequado como responsável (moderador)?
T5. Interatividade
• O site fornece contatos do Webmaster?
• O site possui fale conosco?
• As questões dos usuários são respondidas em
tempo ágil?
• O site possui FAQ (Lista de perguntas mais
frequentes dos usuários com respostas)?
• Possui tutorial ou instruções de ajuda ao usuário
no manuseio do site e suas ferramentas?
T6. Suporte ao usuário
Dimensão Técnica
Critérios de qualidade de sites de saúde
Fontes:

21. Dimensão Design
Critérios de qualidade para sites de saúde
•O site possui recursos de acessibilidade?
•O site disponibiliza atalhos de teclado
•O site possui conteúdo alternativo para imagens?
•Os textos são disponibilizados também em HTML?
•As páginas são leves e carregam rápido?
•O site pode ser acessado em mais de um Browser
(navegador)
•O site possui mecanismos para aumentar a fonte?
•O site disponibiliza o recurso de barra de
acessibilidade?
•O site disponibiliza o mesmo conteúdo em vários
formatos (texto, áudio e vídeo)?
D1. Acessibilidade
• Constam logotipos, atalhos e caixas de busca visíveis em
todas as páginas e sempre no mesmo lugar?
• É fácil de navegar no site?
• O site possui links de retornos em todas as páginas?
• Existe ferramenta de busca no site?
• A ferramenta de busca presente em todas as páginas?
• O site apresenta a opção de busca avançada depois da
busca simples?
• Os resultados da busca são pertinentes?
• O site apresenta tutorial ou ajuda?
• Consta o mapa do site?
• No caso de baixa de arquivos, os links estão
acompanhados de descrições claras e precisas sobre o
seu conteúdo, tamanho e formato?
• O site possui uma seção de destaque para informações
mais recentes?
• Os links do site funcionam?
• As categorias de links são claras e bem definidas?
• O design do site é agradável e limpo?
D2. Usabilidade

22. Recomendações finais
• Estimular a adoção dos padrões recomendados para sites
pelo Governo Eletrônico para os sites de saúde;
• Implementar o selo Fiocruz para certificação de sites;
• Criar base de dados online ou catálogo brasileiro de sites;
• Criar portal temático dedicado exclusivamente à promoção da
saúde, prevenção e controle de doenças;
• Promover programas de orientação para os usuários.

23. Sugestões para estudos futuros
• Aplicação do modelo proposto;
• Criar instrumento de avaliação da qualidade de sites
direcionados aos usuários leigos;
• Desenvolver de mecanismos de filtragem e avaliação
baseados no modelo da Web semântica ou terceira geração
da Web (Web 3.0);

24. Obrigada!