Universidade Federal da Bahia
Instituto de Ciências da Saúde
Departamento de Biointeração
Disciplina ICS 057 – Biotecnologia aplicada à saúde

Critérios de avaliação e
escolha de métodos de
diagnóstico
Validade de um Teste Diagnóstico
A validade de um teste refere-se a quanto, em termos
quantitativos, um teste é útil para diagnosticar um evento ou
predizê-lo (validade preditiva).

Para tal, compara-se os resultados do teste com os de um
padrão: pode ser o estado do paciente, se a informação está
disponível, um conjunto de exames julgados mais adequados,
ou uma outra forma de diagnóstico que sirva de referência

(Padrão ouro).
Diagnóstico verdadeiro
Isolamento

do

agente,

associado

ou/não

a

apresentação clínica de sintomas

Padrão OURO – pode ser constituído pelo diagnóstico
verdadeiro, ou mesmo por um teste confiável e já utilizado
para

o

diagnóstico

de

(geralmente definido pela OMS)

determinada

enfermidade
Propriedades de Testes Diagnósticos
O teste diagnóstico ideal deveria fornecer, sempre, a resposta
correta, ou seja, um resultado positivo dos indivíduos infectados
e um resultado negativo nos indivíduos sem a infecção.

Características ideais: Rápido de ser executado, seguro, simples,
inócuo, confiável e de baixo custo.

4 interpretações possíveis.
... uma combinação binária entre os resultados prováveis obtidos
em um determinado teste e o diagnóstico verdadeiro da doença

Padrão Ouro
Teste em
Validação

Infectado

Não Infectado

TOTAL

Positivo

Verdadeiro
Positivo
(VP)

Falso Positivo
(FP)

Total de
Exames
Positivos

Negativo

Falso negativo
(FN)

Verdadeiro
Negativo
(VN)

Total de
Exames
Negativos

Total de
Infectados

Total de Não
Infectados

Total de
Exames

TOTAL
Validade Intrínseca

É o desempenho do teste quando
comparado a um teste de referência.

• Característicos do teste e não da população em estudo
• Fornecem

resultados

consistentes

independente

prevalência da doença

Sensibilidade

Especificidade

Eficiência

da
Sensibilidade

•

É

a

porcentagem

de

pacientes

com

determinada

condição/infecção para os quais, se o teste é utilizado, se
obtém resultados positivos.
• Quanto maior a sensibilidade, maior o poder do teste de
detectar a condição estudada e menor a ocorrência de falsonegativos.

Sensibilidade =

VP
VP + FN
•

Existem casos em que os pacientes estão com a
determinada infecção, o teste é utilizado e apresenta
resultado negativo. Estes casos denominam-se falsos
negativos, o que significa uma deficiência na sensibilidade
do ensaio. A maioria dos testes apresentam alguma
margem/proporção de falsos negativos.
Especificidade
•

É

a

porcentagem

dos

indivíduos

que

não

tem

a

condição/doença e ao utilizar-se o teste apresenta resultados
negativos.

•

Quanto maior a especificidade, maior a segurança dos

resultados quando identificados como positivos no teste, e
menor a ocorrência de falso-positivos.

Especificidade =

VN
VN + FP
•

Existem casos em que os pacientes estão sem a
determinada infecção, o teste é utilizado e apresenta
resultado positivo. Estes casos denominam-se falsos
positivos,

o

que

significa

uma

deficiência

na

especificidade do ensaio. A maioria dos testes apresentam
alguma margem/proporção de falsos positivos.
•

Quanto mais alta a especificidade, menor será a taxa de falso positivos e
menor será a proporção das pessoas desnecessariamente preocupadas ou
expostas a tratamentos indevidos.

•

A maioria dos testes mostra alguns "falso-negativos“: os pacientes estão
com a condição/infecção e nos quais o teste se apresenta negativo.

•

Em algumas situações ou

condições em que há riscos de omitir ou

retardar tratamentos necessários, a proporção de falso negativos pode ser
inaceitável.
Combinação binária entre os resultados prováveis obtidos em um
determinado teste e o diagnóstico verdadeiro da doença

DOENÇA – Diagnóstico verdadeiro
TESTE
PRESENTE

AUSENTE

POSITIVO

Verdadeiros
positivos (VP)

Falsos positivos (FP)

NEGATIVO

Falsos negativos
(FN)

Verdadeiros
negativos (VN)

VP + FN

FP + VN

TOTAL

SENSIBILIDADE

+

ESPECIFICIDADE
Eficiência

•

É a porcentagem correta de resultados do testes,

verdadeiros positivos e negativos.

•

Em economia da saúde, ao comparar produtos, eficiência
inclui a variável custo, indicando o mesmo ou maior efeito
pelo menor custo.

Eficiência

=

VP + VN
VP + VN + FP + FN
Validade Extrínseca

É a capacidade do teste em detectar a real situação da
população em relação à doença que está sendo estudada.
Também avalia o desempenho do teste em uma dada
população.

Repetitividade

Reprodutibilidade

Acurácia ou
exatidão
Repetitividade

• É um parâmetro que determina existir concordância dos
resultados obtidos quando um mesmo teste é feito várias vezes.
• Mede o erro acidental do método, que corresponde ao erro
experimental acumulado (erro aleatório).
• É a reprodutibilidade dos resultados ao repetir o teste várias
vezes, no mesmo ou em vários laboratórios, em circunstâncias
similares. A precisão não implica acurácia!
Reprodutibilidade

• É a obtenção de resultados iguais em testes realizados com a
mesma amostra de material biológico, quando feitos por
pessoas diferentes em LOCAIS e MOMENTOS variados e se
garante quando a precisão e a exatidão são sempre avaliadas.

• Desvio padrão
• Coeficiente de variação
• Coeficientes de correlação
(Pearson, Spearman)
• Variância entre medidas
Acurácia ou
exatidão

• É um parâmetro que determina a capacidade do teste
em fornecer resultados muito próximos ao verdadeiro
valor do que se está medindo.
• Mede o erro sistemático ou a tendência dos resultados
de se desviarem em uma dada direção e proporção
em relação ao valor real.
• É a habilidade o teste de obter resultados similares
ao teste padrão (Padrão OURO). Mais aplicado a testes
quantitativos.
COMO COMPARAR DOIS
TESTES NA PRÁTICA?
Coeficiente Kappa (k) – medida de concordância que ajusta a
concordância observada, descontando do total, aquela ocorrida
devido ao acaso.

COEFICIENTE KAPPA DE CONCORDÂNCIA
Valor do coeficiente Kappa

Interpretação

<0

Sem concordância

0-0.19

Concordância pobre

0.20-0.39

Concordância fraca

0.40-0.59

Concordância moderada

0.60-0.79

Concordância substanciual

0.80-1.00

Concordância quase perfeita

Fonte: Landis JR, Koch GG. The measurement of observer agreement for
categorical data. Biometrics 1977; 33: 159-174
ID Animal
174 c
12128
107
12194
12212
12260
12146
1749
1264
2460
1727
12264
1375
11066
1753
1581
435
11028
551
105 b as
44
1419
11478
5096
12278
1148
TABELA
1068
linfadenite
1697
8162
991
12238
1547

Cultivo
PCR
Neg
Pos
Pos
Pos
Pos
Neg
Pos
Pos
Neg
Neg
Pos
Pos
Pos
Pos
Neg
Neg
Neg
Neg
Neg
Pos
Neg
Neg
Neg
Pos
Pos
Pos
Neg
Pos
Pos
Pos
Pos
Pos
Neg
Neg
Neg
Pos
Neg
Pos
Neg
Neg
Pos
Pos
Neg
Pos
Pos
Pos
Neg
Pos
Pos
Pos
Pos
2: ComparaçãoPosde
Neg
caseosa em ovinosPos
Pos
Pos
Neg
Pos
Neg
Pos
Neg
Pos
Neg
Pos

Elisa
Pos
Pos
Pos
Pos
Pos
Pos
Pos
Neg
Pos
Pos
Pos
Pos
Pos
Pos
Neg
Pos
Pos
Pos
Pos
Pos
Pos
Pos
Pos
Pos
Pos
Pos
ensaios
Pos
Pos
Pos
Pos
Pos
Pos

IFN-gamma
1095,29
1069,04
1005,71
926,13
930,29
670,71
584,04
191,13
47,79
315,71
1102,38
442,79
996,96
895,71
1137,79
1044,88
373,21
964,04
950,29
614,46
931,96
998,21
596,13
390,29
736,96
150,71
diagnósticos para
284,88
1208,63
2458,67
2717,56
2340,89
413,11

TABELA 2: Comparação de ensaios diagnósticos para linfadenite caseosa em ovinos. Em vermelho
são os animais positivos par a cada técnica em questão e em azul os negativos .
SÍNTESE DOS RESULTADOS
TIPOS E APLICAÇÃO DE
TESTES DIAGNÓSTICOS
Classificação dos testes quanto ao material
detectado

Teste Direto

Escherichia coli ao ME,
ampliada 10.000x

X Teste Indireto
Classificação dos testes quanto ao resultado
fornecido
QUALITATIVO – se os resultados informam apenas se houve ou não
reação / detecção (positivo ou negativo)
Exemplo: testes cromatográficos para detecção de gestação (ß-HCG)
ou sorologia para Brucella abortus

Imunoaglutinação
Cromatografia
SEMI-QUANTITATIVOS

Quando as amostras testadas são diluidas (soro) seriadamente (1:2,
1:4, 1:8...) para obter-se uma idéia até qual diluição haverá
reação / detecção
Exemplo: testes de imunofluorescência indireta para detecção de
IgG anti T. gondii

Diferentes níveis de fluorescência
QUANTITATIVOS

Quando o teste é capaz de informar a quantidade absoluta do
material detectado
LIMIAR DE REATIVIDADE OU CUT OFF



Limiar de reatividade ou cut off é a região de corte do teste
sorológico.



Ou seja, é um valor acima do qual os resultados são
considerados + (POSITIVOS) e abaixo do qual os resultados
são considerados – (NEGATIVOS).
Curva de distribuição da freqüência de títulos
normalmente observada na população

Cut off ou
limiar de reatividade

Falso-Negativos

Falso-Positivos
LIMIAR DE REATIVIDADE OU CUT OFF
Imagine que você trabalha num banco de sangue e precisa
selecionar um teste para detectar determinado antígeno...
Este teste deverá ter máxima....
SENSIBILIDADE!!! Portanto:
Onde seria o limiar de reatividade ou cut off?
Ponto de máxima sensibilidade

Aumentou o número
de resultados
FALSO-POSITIVOS!!
LIMIAR DE REATIVIDADE OU CUT OFF
Imagine que você trabalha num laboratório de análises clínicas e
precisa selecionar um teste para detectar determinado antígeno...
Este teste deverá ter máxima....
ESPECIFICIDADE!!! Portanto:
Onde seria o limiar de reatividade ou cut off?
Ponto de máxima especificidade

Aumentou o número
de resultados
FALSONEGATIVOS!!
Checklist para avaliação e escolha de um teste
• Houve validação do teste com um “padrão ouro” como
referência? Qual sensibilidade /especificidade?
•Qual o grau de repetitividade / reprodutibilidade do teste?
• Houve validação do teste em uma população significante
ou representativa? Valores preditivos e acurácia...?
•Aplicabilidade à prática clínica, ao quadro clínico ou ao
patógeno a ser estudado? Triagem ou diagnóstico?
•Qual relação benefício /custo do teste? Uso em larga
escala?

ICSA17 - Critérios de validação imunodiagnóstico

  • 1.
    Universidade Federal daBahia Instituto de Ciências da Saúde Departamento de Biointeração Disciplina ICS 057 – Biotecnologia aplicada à saúde Critérios de avaliação e escolha de métodos de diagnóstico
  • 2.
    Validade de umTeste Diagnóstico A validade de um teste refere-se a quanto, em termos quantitativos, um teste é útil para diagnosticar um evento ou predizê-lo (validade preditiva). Para tal, compara-se os resultados do teste com os de um padrão: pode ser o estado do paciente, se a informação está disponível, um conjunto de exames julgados mais adequados, ou uma outra forma de diagnóstico que sirva de referência (Padrão ouro).
  • 3.
    Diagnóstico verdadeiro Isolamento do agente, associado ou/não a apresentação clínicade sintomas Padrão OURO – pode ser constituído pelo diagnóstico verdadeiro, ou mesmo por um teste confiável e já utilizado para o diagnóstico de (geralmente definido pela OMS) determinada enfermidade
  • 4.
    Propriedades de TestesDiagnósticos O teste diagnóstico ideal deveria fornecer, sempre, a resposta correta, ou seja, um resultado positivo dos indivíduos infectados e um resultado negativo nos indivíduos sem a infecção. Características ideais: Rápido de ser executado, seguro, simples, inócuo, confiável e de baixo custo. 4 interpretações possíveis.
  • 5.
    ... uma combinaçãobinária entre os resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença Padrão Ouro Teste em Validação Infectado Não Infectado TOTAL Positivo Verdadeiro Positivo (VP) Falso Positivo (FP) Total de Exames Positivos Negativo Falso negativo (FN) Verdadeiro Negativo (VN) Total de Exames Negativos Total de Infectados Total de Não Infectados Total de Exames TOTAL
  • 6.
    Validade Intrínseca É odesempenho do teste quando comparado a um teste de referência. • Característicos do teste e não da população em estudo • Fornecem resultados consistentes independente prevalência da doença Sensibilidade Especificidade Eficiência da
  • 7.
    Sensibilidade • É a porcentagem de pacientes com determinada condição/infecção para osquais, se o teste é utilizado, se obtém resultados positivos. • Quanto maior a sensibilidade, maior o poder do teste de detectar a condição estudada e menor a ocorrência de falsonegativos. Sensibilidade = VP VP + FN
  • 8.
    • Existem casos emque os pacientes estão com a determinada infecção, o teste é utilizado e apresenta resultado negativo. Estes casos denominam-se falsos negativos, o que significa uma deficiência na sensibilidade do ensaio. A maioria dos testes apresentam alguma margem/proporção de falsos negativos.
  • 9.
    Especificidade • É a porcentagem dos indivíduos que não tem a condição/doença e aoutilizar-se o teste apresenta resultados negativos. • Quanto maior a especificidade, maior a segurança dos resultados quando identificados como positivos no teste, e menor a ocorrência de falso-positivos. Especificidade = VN VN + FP
  • 10.
    • Existem casos emque os pacientes estão sem a determinada infecção, o teste é utilizado e apresenta resultado positivo. Estes casos denominam-se falsos positivos, o que significa uma deficiência na especificidade do ensaio. A maioria dos testes apresentam alguma margem/proporção de falsos positivos.
  • 11.
    • Quanto mais altaa especificidade, menor será a taxa de falso positivos e menor será a proporção das pessoas desnecessariamente preocupadas ou expostas a tratamentos indevidos. • A maioria dos testes mostra alguns "falso-negativos“: os pacientes estão com a condição/infecção e nos quais o teste se apresenta negativo. • Em algumas situações ou condições em que há riscos de omitir ou retardar tratamentos necessários, a proporção de falso negativos pode ser inaceitável.
  • 12.
    Combinação binária entreos resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença DOENÇA – Diagnóstico verdadeiro TESTE PRESENTE AUSENTE POSITIVO Verdadeiros positivos (VP) Falsos positivos (FP) NEGATIVO Falsos negativos (FN) Verdadeiros negativos (VN) VP + FN FP + VN TOTAL SENSIBILIDADE + ESPECIFICIDADE
  • 13.
    Eficiência • É a porcentagemcorreta de resultados do testes, verdadeiros positivos e negativos. • Em economia da saúde, ao comparar produtos, eficiência inclui a variável custo, indicando o mesmo ou maior efeito pelo menor custo. Eficiência = VP + VN VP + VN + FP + FN
  • 14.
    Validade Extrínseca É acapacidade do teste em detectar a real situação da população em relação à doença que está sendo estudada. Também avalia o desempenho do teste em uma dada população. Repetitividade Reprodutibilidade Acurácia ou exatidão
  • 15.
    Repetitividade • É umparâmetro que determina existir concordância dos resultados obtidos quando um mesmo teste é feito várias vezes. • Mede o erro acidental do método, que corresponde ao erro experimental acumulado (erro aleatório). • É a reprodutibilidade dos resultados ao repetir o teste várias vezes, no mesmo ou em vários laboratórios, em circunstâncias similares. A precisão não implica acurácia!
  • 16.
    Reprodutibilidade • É aobtenção de resultados iguais em testes realizados com a mesma amostra de material biológico, quando feitos por pessoas diferentes em LOCAIS e MOMENTOS variados e se garante quando a precisão e a exatidão são sempre avaliadas. • Desvio padrão • Coeficiente de variação • Coeficientes de correlação (Pearson, Spearman) • Variância entre medidas
  • 17.
    Acurácia ou exatidão • Éum parâmetro que determina a capacidade do teste em fornecer resultados muito próximos ao verdadeiro valor do que se está medindo. • Mede o erro sistemático ou a tendência dos resultados de se desviarem em uma dada direção e proporção em relação ao valor real. • É a habilidade o teste de obter resultados similares ao teste padrão (Padrão OURO). Mais aplicado a testes quantitativos.
  • 18.
  • 19.
    Coeficiente Kappa (k)– medida de concordância que ajusta a concordância observada, descontando do total, aquela ocorrida devido ao acaso. COEFICIENTE KAPPA DE CONCORDÂNCIA Valor do coeficiente Kappa Interpretação <0 Sem concordância 0-0.19 Concordância pobre 0.20-0.39 Concordância fraca 0.40-0.59 Concordância moderada 0.60-0.79 Concordância substanciual 0.80-1.00 Concordância quase perfeita Fonte: Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159-174
  • 20.
    ID Animal 174 c 12128 107 12194 12212 12260 12146 1749 1264 2460 1727 12264 1375 11066 1753 1581 435 11028 551 105b as 44 1419 11478 5096 12278 1148 TABELA 1068 linfadenite 1697 8162 991 12238 1547 Cultivo PCR Neg Pos Pos Pos Pos Neg Pos Pos Neg Neg Pos Pos Pos Pos Neg Neg Neg Neg Neg Pos Neg Neg Neg Pos Pos Pos Neg Pos Pos Pos Pos Pos Neg Neg Neg Pos Neg Pos Neg Neg Pos Pos Neg Pos Pos Pos Neg Pos Pos Pos Pos 2: ComparaçãoPosde Neg caseosa em ovinosPos Pos Pos Neg Pos Neg Pos Neg Pos Neg Pos Elisa Pos Pos Pos Pos Pos Pos Pos Neg Pos Pos Pos Pos Pos Pos Neg Pos Pos Pos Pos Pos Pos Pos Pos Pos Pos Pos ensaios Pos Pos Pos Pos Pos Pos IFN-gamma 1095,29 1069,04 1005,71 926,13 930,29 670,71 584,04 191,13 47,79 315,71 1102,38 442,79 996,96 895,71 1137,79 1044,88 373,21 964,04 950,29 614,46 931,96 998,21 596,13 390,29 736,96 150,71 diagnósticos para 284,88 1208,63 2458,67 2717,56 2340,89 413,11 TABELA 2: Comparação de ensaios diagnósticos para linfadenite caseosa em ovinos. Em vermelho são os animais positivos par a cada técnica em questão e em azul os negativos .
  • 21.
  • 22.
    TIPOS E APLICAÇÃODE TESTES DIAGNÓSTICOS
  • 23.
    Classificação dos testesquanto ao material detectado Teste Direto Escherichia coli ao ME, ampliada 10.000x X Teste Indireto
  • 24.
    Classificação dos testesquanto ao resultado fornecido QUALITATIVO – se os resultados informam apenas se houve ou não reação / detecção (positivo ou negativo) Exemplo: testes cromatográficos para detecção de gestação (ß-HCG) ou sorologia para Brucella abortus Imunoaglutinação Cromatografia
  • 25.
    SEMI-QUANTITATIVOS Quando as amostrastestadas são diluidas (soro) seriadamente (1:2, 1:4, 1:8...) para obter-se uma idéia até qual diluição haverá reação / detecção Exemplo: testes de imunofluorescência indireta para detecção de IgG anti T. gondii Diferentes níveis de fluorescência
  • 27.
    QUANTITATIVOS Quando o testeé capaz de informar a quantidade absoluta do material detectado
  • 31.
    LIMIAR DE REATIVIDADEOU CUT OFF  Limiar de reatividade ou cut off é a região de corte do teste sorológico.  Ou seja, é um valor acima do qual os resultados são considerados + (POSITIVOS) e abaixo do qual os resultados são considerados – (NEGATIVOS).
  • 32.
    Curva de distribuiçãoda freqüência de títulos normalmente observada na população Cut off ou limiar de reatividade Falso-Negativos Falso-Positivos
  • 33.
    LIMIAR DE REATIVIDADEOU CUT OFF Imagine que você trabalha num banco de sangue e precisa selecionar um teste para detectar determinado antígeno... Este teste deverá ter máxima.... SENSIBILIDADE!!! Portanto: Onde seria o limiar de reatividade ou cut off? Ponto de máxima sensibilidade Aumentou o número de resultados FALSO-POSITIVOS!!
  • 34.
    LIMIAR DE REATIVIDADEOU CUT OFF Imagine que você trabalha num laboratório de análises clínicas e precisa selecionar um teste para detectar determinado antígeno... Este teste deverá ter máxima.... ESPECIFICIDADE!!! Portanto: Onde seria o limiar de reatividade ou cut off? Ponto de máxima especificidade Aumentou o número de resultados FALSONEGATIVOS!!
  • 35.
    Checklist para avaliaçãoe escolha de um teste • Houve validação do teste com um “padrão ouro” como referência? Qual sensibilidade /especificidade? •Qual o grau de repetitividade / reprodutibilidade do teste? • Houve validação do teste em uma população significante ou representativa? Valores preditivos e acurácia...? •Aplicabilidade à prática clínica, ao quadro clínico ou ao patógeno a ser estudado? Triagem ou diagnóstico? •Qual relação benefício /custo do teste? Uso em larga escala?