UNIVERSIDADE FEDERAL DA BAHIA
INSTITUTO DE CIÊNCIAS DA SAÚDE – ICS
DEPARTAMENTO DE BIOINTERAÇÃO
DISCIPLINA: IMUNOLOGIA I – ICS 045
Trabalho realizado pelo Doutorando de Imunologia da UFBA Bruno Lopes Bastos sob
orientação dos Professores Robert Schaer, Roberto Meyer, Cláudia Brodskin e
Ricardo Portela. Atualizado em Fevereiro de 2010.
• A validade de um teste refere-se a quanto, em termos
quantitativos, um teste é útil para diagnosticar um evento
ou predizê-lo (validade preditiva).
• Para tal, compara-se os resultados do teste com os de um
padrão: o estado clínico do paciente (se a informação está
disponível), um conjunto de exames julgados mais
adequados, ou um ensaio de diagnóstico que sirva de
referência (Padrão ouro).
o DIAGNÓSTICO VERDADEIRO
• Isolamento do agente, associado a apresentação clínica
de sintomas.
• Padrão OURO – pode ser constituído pelo diagnóstico
verdadeiro, ou mesmo por um teste confiável e já
utilizado para o diagnóstico de determinada enfermidade,
geralmente predito como “gold standard” pela
Organização Mundial de Saúde, por exemplo.
o PROPRIEDADES DOS TESTES DE DIAGNÓSTICO
•O teste diagnóstico ideal deveria fornecer, sempre, a resposta
correta, ou seja, um resultado positivo dos indivíduos infectados
e um resultado negativo nos indivíduos sem infecção.
•Rápido de ser executado, seguro, simples, inócuo, confiável e de
baixo custo.
o AVALIAÇÃO DA VALIDADE DE UM TESTE
• Quando pesquisamos o status infeccioso de uma
pessoa/animal, estes podem ou não ter a infecção e o
resultado do teste diagnóstico pode ser positivo ou negativo.
Assim, podemos encontrar as seguintes situações:
Padrão Ouro
Teste em
Validação
Doente São TOTAL
Positivo
(anormal)
Verdadeiro
Positivo
(VP)
Falso Positivo
(FP)
Total de Exames
Positivos
Negativo
(normal)
Falso negativo
(FN)
Verdadeiro
Negativo
(VN)
Total de Exames
Negativos
TOTAL Total de Doentes Total de Sãos Total de Exames
... uma combinação binária entre os resultados prováveis obtidos em
um determinado teste e o diagnóstico verdadeiro da doença
Sensibilidade Especificidade Eficiência
É o desempenho do teste quando
comparado a um teste de referência.
• Característicos do teste e não da população em estudo
• Fornecem resultados consistentes independente da
prevalência da doença
o SENSIBILIDADE
• É a porcentagem de pacientes com determinada
condição/doença para os quais, se o teste é utilizado, se
obtém resultados positivos.
• Quanto maior a sensibilidade, maior o poder do teste
de detectar a condição ou doença
Sensibilidade = VP
VP + FN
________
• Existem casos em que os pacientes estão com a
determinada infecção, o teste é utilizado e apresenta
resultado negativo. Estes casos denominam- se falsos
negativos, e são interpretados como uma falha na
sensibilidade do ensaio.
o ESPECIFICIDADE
• É a porcentagem dos indivíduos que não tem a condição/doença e
ao utilizar-se o teste apresenta resultados negativos.
• Os testes com alta especificidade ( 99%) e que são negativos em
indivíduos sadios ou que apresentam sintomas similares mas não
apresentam a infecção/doença, são muito úteis para confirmação o
diagnóstico.
Especificidade = VN
VN + FP
_______
• Podem ocorrer casos em que o indivíduo NÃO possuI determinada
infecção, mas apresenta resultado positivo em um ensaio de
diagnóstico. Esse resultado é visto como “falso-positivo” e é
relacionado a falhas na especificidade do ensaio.
• Quanto mais alta a especificidade, menor será a taxa de falso
positivos e menor será a proporção das pessoas desnecessariamente
preocupadas ou expostas a tratamentos indevidos.
• Em algumas situações ou condições em que há riscos de omitir ou
retardar tratamentos necessários, a proporção de falso negativos
pode ser inaceitável.
Combinação binária entre os resultados prováveis obtidos em um
determinado teste e o diagnóstico verdadeiro da doença
TESTE
DOENÇA – Diagnóstico verdadeiro
PRESENTE AUSENTE
POSITIVO
Verdadeiros positivos
(VP)
Falsos positivos (FP)
NEGATIVO Falsos negativos (FN)
Verdadeiros negativos
(VN)
TOTAL VP + FN FP + VN
SENSIBILIDADE ESPECIFICIDADE
o EFICIÊNCIA
• É a porcentagem correta de resultados do testes,
verdadeiros positivos e negativos.
• Em economia da saúde, ao comparar produtos,
eficiência inclui a variável custo, indicando o mesmo ou
maior efeito pelo menor custo.
Eficiência = VP + VP
VP + VN + FP + FN
________________
É a probabilidade que um paciente com um teste
positivo tenha efetivamente a condição ou
doença, baseada na PREVALÊNCIA da infecção
ou doença na população estudada.
Probabilidade da doença se o teste
é positivo.
VPP = VP
VP + FP
________
• Mede a probabilidade de obter "verdadeiros negativos": sem a
condição ou doença nos quais se obtém resultados negativos,
baseado na PREVALÊNCIA desta infecção nesta população.
• Enquanto a sensibilidade e a especificidade de um teste são
constantes na população em estudo sempre que testadas, o valor
predito varia com a sensibilidade e com a prevalência.
Probabilidade da doença se o teste
é negativo.
VPN = VN
VN + FN
________
É a capacidade do teste em detectar a real situação da
população em relação à doença que está sendo estudada.
Também avalia o desempenho do teste em uma dada
população.
Precisão Acurácia ou
exatidão
Reprodutibilidade
o PRECISÃO
•É um parâmetro que determina existir concordância dos
resultados obtidos quando um mesmo teste é feito várias vezes.
• Mede o erro acidental do método, que corresponde ao erro
experimental acumulado (erro aleatório).
• É a repepetitividade dos resultados ao repetir o teste várias
vezes em circunstâncias similares. A precisão não implica acurácia!
o ACURÁCIA OU EXATIDÃO
• É um parâmetro que determina a capacidade do teste em
fornecer resultados muito próximos ao verdadeiro valor do que se
está medindo.
• Mede o erro sistemático ou a tendência dos resultados de se
desviarem em uma dada direção e proporção em relação ao valor
real.
• É a habilidade o teste de obter resultados similares ao teste
padrão (Padrão OURO).
o REPRODUTIBILIDADE
• É a obtenção de resultados iguais em testes realizados
com a mesma amostra de material biológico, quando feitos
por pessoas diferentes em locais variados e se garante
quando a precisão e a exatidão são sempre avaliadas.
• Desvio padrão
• Coeficiente de variação
• Coeficientes de correlação (Pearson, Spearman)
• Variância entre medidas
• Limiar de reatividade ou cut-off é a região de corte do teste
sorológico.
• Ou seja, é um valor acima do qual temos menos resultados
falso-positivos, e abaixo do qual temos menos resultados
falso-negativos, ou seja, é um valor de referência para
termos uma mellhor discriminação entre infectados e não
infectados.
Curva de distribuição da freqüência de títulos normalmente
observada na população
Cut -off ou
limiar de reatividade
Falso-Positivos
Falso-Negativos
Imagine que você trabalha num banco de sangue e precisa
selecionar um teste para detectar determinado antígeno...
Onde seria o limiar de reatividade ou cut off?
Ponto de máxima sensibilidade
Pode aumentar o número
de resultados FALSO-
POSITIVOS!!
Este teste não pode apresentar resultados falso-positivos
Então deverá ter máxima.... SENSIBILIDADE !!! Portanto:
Imagine que você trabalha num laboratório de análises clínicas e precisa
selecionar um teste para detectar determinado antígeno...
Onde seria o limiar de reatividade ou cut off?
Ponto de máxima especificidade
Este teste deverá ter máxima....
Pode aumentar o número
de resultados FALSO-
NEGATIVOS!!
ESPECIFICIDADE!!! Portanto:
• Houve comparação independente com um padrão de
referência?
• A amostra de indivíduos estudados incluiu um
espectro apropriado de pacientes, semelhante ao da
prática clínica?
• Os resultados do teste sob avaliação influenciaram a
decisão do teste tido como padrão de referência?
• Os métodos para a realização do teste foram detalhados o
suficiente para permitir reprodução?
• As propriedades do teste foram apresentadas e sua precisão
determinada?
• A reprodutibilidade do teste e sua interpretação poderão
satisfazer à prática clínica?
• Os resultados são aplicáveis e mudam a conduta clínica?
• Os pacientes ganharão com o resultado do teste?

Critérios de Validação

  • 1.
    UNIVERSIDADE FEDERAL DABAHIA INSTITUTO DE CIÊNCIAS DA SAÚDE – ICS DEPARTAMENTO DE BIOINTERAÇÃO DISCIPLINA: IMUNOLOGIA I – ICS 045 Trabalho realizado pelo Doutorando de Imunologia da UFBA Bruno Lopes Bastos sob orientação dos Professores Robert Schaer, Roberto Meyer, Cláudia Brodskin e Ricardo Portela. Atualizado em Fevereiro de 2010.
  • 3.
    • A validadede um teste refere-se a quanto, em termos quantitativos, um teste é útil para diagnosticar um evento ou predizê-lo (validade preditiva). • Para tal, compara-se os resultados do teste com os de um padrão: o estado clínico do paciente (se a informação está disponível), um conjunto de exames julgados mais adequados, ou um ensaio de diagnóstico que sirva de referência (Padrão ouro).
  • 4.
    o DIAGNÓSTICO VERDADEIRO •Isolamento do agente, associado a apresentação clínica de sintomas. • Padrão OURO – pode ser constituído pelo diagnóstico verdadeiro, ou mesmo por um teste confiável e já utilizado para o diagnóstico de determinada enfermidade, geralmente predito como “gold standard” pela Organização Mundial de Saúde, por exemplo.
  • 5.
    o PROPRIEDADES DOSTESTES DE DIAGNÓSTICO •O teste diagnóstico ideal deveria fornecer, sempre, a resposta correta, ou seja, um resultado positivo dos indivíduos infectados e um resultado negativo nos indivíduos sem infecção. •Rápido de ser executado, seguro, simples, inócuo, confiável e de baixo custo.
  • 6.
    o AVALIAÇÃO DAVALIDADE DE UM TESTE • Quando pesquisamos o status infeccioso de uma pessoa/animal, estes podem ou não ter a infecção e o resultado do teste diagnóstico pode ser positivo ou negativo. Assim, podemos encontrar as seguintes situações:
  • 7.
    Padrão Ouro Teste em Validação DoenteSão TOTAL Positivo (anormal) Verdadeiro Positivo (VP) Falso Positivo (FP) Total de Exames Positivos Negativo (normal) Falso negativo (FN) Verdadeiro Negativo (VN) Total de Exames Negativos TOTAL Total de Doentes Total de Sãos Total de Exames ... uma combinação binária entre os resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença
  • 9.
    Sensibilidade Especificidade Eficiência Éo desempenho do teste quando comparado a um teste de referência. • Característicos do teste e não da população em estudo • Fornecem resultados consistentes independente da prevalência da doença
  • 10.
    o SENSIBILIDADE • Éa porcentagem de pacientes com determinada condição/doença para os quais, se o teste é utilizado, se obtém resultados positivos. • Quanto maior a sensibilidade, maior o poder do teste de detectar a condição ou doença Sensibilidade = VP VP + FN ________
  • 11.
    • Existem casosem que os pacientes estão com a determinada infecção, o teste é utilizado e apresenta resultado negativo. Estes casos denominam- se falsos negativos, e são interpretados como uma falha na sensibilidade do ensaio.
  • 12.
    o ESPECIFICIDADE • Éa porcentagem dos indivíduos que não tem a condição/doença e ao utilizar-se o teste apresenta resultados negativos. • Os testes com alta especificidade ( 99%) e que são negativos em indivíduos sadios ou que apresentam sintomas similares mas não apresentam a infecção/doença, são muito úteis para confirmação o diagnóstico. Especificidade = VN VN + FP _______
  • 13.
    • Podem ocorrercasos em que o indivíduo NÃO possuI determinada infecção, mas apresenta resultado positivo em um ensaio de diagnóstico. Esse resultado é visto como “falso-positivo” e é relacionado a falhas na especificidade do ensaio. • Quanto mais alta a especificidade, menor será a taxa de falso positivos e menor será a proporção das pessoas desnecessariamente preocupadas ou expostas a tratamentos indevidos. • Em algumas situações ou condições em que há riscos de omitir ou retardar tratamentos necessários, a proporção de falso negativos pode ser inaceitável.
  • 14.
    Combinação binária entreos resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença TESTE DOENÇA – Diagnóstico verdadeiro PRESENTE AUSENTE POSITIVO Verdadeiros positivos (VP) Falsos positivos (FP) NEGATIVO Falsos negativos (FN) Verdadeiros negativos (VN) TOTAL VP + FN FP + VN SENSIBILIDADE ESPECIFICIDADE
  • 15.
    o EFICIÊNCIA • Éa porcentagem correta de resultados do testes, verdadeiros positivos e negativos. • Em economia da saúde, ao comparar produtos, eficiência inclui a variável custo, indicando o mesmo ou maior efeito pelo menor custo. Eficiência = VP + VP VP + VN + FP + FN ________________
  • 16.
    É a probabilidadeque um paciente com um teste positivo tenha efetivamente a condição ou doença, baseada na PREVALÊNCIA da infecção ou doença na população estudada. Probabilidade da doença se o teste é positivo. VPP = VP VP + FP ________
  • 17.
    • Mede aprobabilidade de obter "verdadeiros negativos": sem a condição ou doença nos quais se obtém resultados negativos, baseado na PREVALÊNCIA desta infecção nesta população. • Enquanto a sensibilidade e a especificidade de um teste são constantes na população em estudo sempre que testadas, o valor predito varia com a sensibilidade e com a prevalência. Probabilidade da doença se o teste é negativo. VPN = VN VN + FN ________
  • 18.
    É a capacidadedo teste em detectar a real situação da população em relação à doença que está sendo estudada. Também avalia o desempenho do teste em uma dada população. Precisão Acurácia ou exatidão Reprodutibilidade
  • 19.
    o PRECISÃO •É umparâmetro que determina existir concordância dos resultados obtidos quando um mesmo teste é feito várias vezes. • Mede o erro acidental do método, que corresponde ao erro experimental acumulado (erro aleatório). • É a repepetitividade dos resultados ao repetir o teste várias vezes em circunstâncias similares. A precisão não implica acurácia!
  • 20.
    o ACURÁCIA OUEXATIDÃO • É um parâmetro que determina a capacidade do teste em fornecer resultados muito próximos ao verdadeiro valor do que se está medindo. • Mede o erro sistemático ou a tendência dos resultados de se desviarem em uma dada direção e proporção em relação ao valor real. • É a habilidade o teste de obter resultados similares ao teste padrão (Padrão OURO).
  • 21.
    o REPRODUTIBILIDADE • Éa obtenção de resultados iguais em testes realizados com a mesma amostra de material biológico, quando feitos por pessoas diferentes em locais variados e se garante quando a precisão e a exatidão são sempre avaliadas. • Desvio padrão • Coeficiente de variação • Coeficientes de correlação (Pearson, Spearman) • Variância entre medidas
  • 29.
    • Limiar dereatividade ou cut-off é a região de corte do teste sorológico. • Ou seja, é um valor acima do qual temos menos resultados falso-positivos, e abaixo do qual temos menos resultados falso-negativos, ou seja, é um valor de referência para termos uma mellhor discriminação entre infectados e não infectados.
  • 30.
    Curva de distribuiçãoda freqüência de títulos normalmente observada na população Cut -off ou limiar de reatividade Falso-Positivos Falso-Negativos
  • 31.
    Imagine que vocêtrabalha num banco de sangue e precisa selecionar um teste para detectar determinado antígeno... Onde seria o limiar de reatividade ou cut off? Ponto de máxima sensibilidade Pode aumentar o número de resultados FALSO- POSITIVOS!! Este teste não pode apresentar resultados falso-positivos Então deverá ter máxima.... SENSIBILIDADE !!! Portanto:
  • 32.
    Imagine que vocêtrabalha num laboratório de análises clínicas e precisa selecionar um teste para detectar determinado antígeno... Onde seria o limiar de reatividade ou cut off? Ponto de máxima especificidade Este teste deverá ter máxima.... Pode aumentar o número de resultados FALSO- NEGATIVOS!! ESPECIFICIDADE!!! Portanto:
  • 34.
    • Houve comparaçãoindependente com um padrão de referência? • A amostra de indivíduos estudados incluiu um espectro apropriado de pacientes, semelhante ao da prática clínica? • Os resultados do teste sob avaliação influenciaram a decisão do teste tido como padrão de referência?
  • 35.
    • Os métodospara a realização do teste foram detalhados o suficiente para permitir reprodução? • As propriedades do teste foram apresentadas e sua precisão determinada? • A reprodutibilidade do teste e sua interpretação poderão satisfazer à prática clínica? • Os resultados são aplicáveis e mudam a conduta clínica? • Os pacientes ganharão com o resultado do teste?