Curso Validação Métodos - Congresso SBAC 2009 - Fernando Berlitz

SBAC2009_Fernando 14/06/2009
Berlitz_Validação.Métodos

MINICURSO TEÓRICO 7

VALIDAÇÃO DE MÉTODOS ANALÍTICOS
FERNANDO BERLITZ

Porto Alegre, 14 de Junho de 2009

AGENDA

• Contexto
• Conceitos Teóricos
• Validação Quantitativa
• Validação Qualitativa

Direitos Reservados ao autor 1


CONTEXTO

• Novas tecnologias tem sido constantemente
desenvolvidas e disponibilizadas ao laboratório
clínico

• Métodos analíticos atuais são mais padronizados e
mais confiáveis

Evolução Métodos Laboratoriais

1950´s 2000´s
g

Molécula

Sensibilidade
Especificidade
Reprodutibilidade
Acurácia



CONTEXTO

• Kits comerciais atuais são “pronto para uso”,
utilizando sistemas analíticos fechados e
equipamentos dedicados

• Foco mudou do desenvolvimento de métodos para
a seleção e avaliação desses métodos quanto ao
atendimento dos requisitos exigidos para sua
finalidade específica

CONTEXTO

• A avaliação de métodos nos laboratórios tem
custo não desprezível (reagentes, amostras,
pessoas e tempo)
• Entretanto, se esta avaliação não for realizada de
forma adequada pode contribuir para...
– Erros na decisão médica
– Custos para o sistema de saúde
– Conseqüências indesejadas para o paciente
– Comprometer a i
C t imagem d l b tó i ( i
do laboratório (riscos mercado)
d )
– Comprometer os resultados e, por vezes, até a sobrevivência
da empresa (riscos jurídicos)



CONTEXTO

• Apesar de todos estes riscos, a maioria dos
laboratórios ignora e importância de uma
adequada avaliação de um método analítico
antes da sua implantação na rotina laboratorial
• As explicações são invariavelmente as mesmas...
– “Alto custo... Impossível de ser absorvido pelo laboratório,
pois as margens são pequenas...”
– “Só os laboratórios grandes podem fazer isso...”
– “Não há necessidade pois já foi testado pelo fabricante”
Não necessidade, fabricante
– “Não sabemos como fazer”

Não é tão difícil assim!



Mas, voltando ao princípio....

... “Validação de Métodos”

O que é um método?

Método

Método é uma seqüência organizada de
atividades com uma função específica
ç p

Questão Método Solução



Método = Processo

Insumo Processo Produto

No Laboratório...

Processo Laudo
L d
Amostra



Todo processo atende a uma necessidade...
... de um cliente

Amostra Processo Laudo

Necessidades Requisitos

Necessidades
Atendidas
Clientes

Processos devem asegurar atendimento aos requisitos
dos clientes

Validar
atendimento
aos requisitos

Clientes Amostra

Tempo Qualidade

Necessidades
Tradução Necessidades
Atendidas

Requisitos



“Devemos validar todo o PROCESSO quanto
ao atendimento dos requisitos dos clientes e
não somente a parte analítica”

Exemplo de Validação



Exemplo de Validação

O que os meus • Adaptar receitas Satisfação dos
c e tes gostam?
clientes gosta • Testar adaptações clientes

VALIDAÇÃO Atendimento aos
Requisitos
Requisitos
exigidos
assegurados

IMPLANTANDO UM NOVO MÉTODO
ANALÍTICO NA ROTINA



Estabelecer necessidade

Seleção do método

Definição da
performance desejada

Avaliação de VALIDAÇÃO
desempenho do método VERIFICAÇÃO

Padronização do
sistema de CQ

Implementação na rotina

Cliente Amostra Análises de rotina Rotinas de CQ

Resultado

Necessidade de um novo método

• Melhorar Exatidão e/ou precisão com relação
aos métodos existentes (atualmente utilizados)
• Reduzir custos (reagentes, trabalho, etc.)
• Novos insumos (novo equipamento, por ex.)
• Novo processo
• Novo produto (novo analito a ser determinado)



SELECIONANDO UM NOVO MÉTODO
ANALÍTICO

Seleção de um novo método

• Avaliar necessidade
– Solicitação Cliente
– Solicitação Médica
– Solicitação Mercado
• Definir características de aplicação
• Definir características do método
• Definir características de performance analítica



Quem método escolhemos utilizar?

Valor Método
Real Definitivo
VALIDAÇÃO

Método
Rastreabilidade
Referência
VALIDAÇÃO

Valor Método
VERIFICAÇÃO
Observado Rotina

CQ

DEFININDO AS ESPECIFICAÇÕES DE
QUALIDADE



Especificações = Requisito

Generalizando...

Especificações da qualidade de um ensaio
laboratorial são as necessidades ou requisitos
exigidos pelos clientes médicos...

...com o objetivo de atender plenamente aos clientes
diretos destes (pacientes).

ESPECIFICAÇÕES DE QUALIDADE

• Representam o nível de ERRO a ser aceito para
a análise laboratorial em questão

• Ou seja, qual o ERRO máximo que o meu
método pode apresentar sem que ocorra
impacto importante em termos de DECISÃO
MÉDICA



QUESTÕES

De
D que ERROS estamos f l d ?
t falando?

Como definir esses ERROS máximos
permitidos?

ESPECIFICAÇÕES DE QUALIDADE

CONCEITO QUALITATIVO MEDIDA QUANTITATIVA
EXATIDÃO (Eficácia)
( ) BIAS
Grau de correlação entre valor Mede a inexatidão ou
médio da distribuição e “valor ERRO SISTEMÁTICO
real”

PRECISÃO (Eficiência) IMPRECISÃO (DP)
Repetibilidade e Medida da dispersão dos
Reprodutibilidade, de curto dados ou ERRO RANDÔMICO
e longo prazo

ADEQUAÇÃO (Efetividade) ERRO TOTAL ANALÍTICO
Sobreposição entre uma medição Somatório das influências dos
única e o “valor real” esperado erros SISTEMÁTICO e
para esta RANDÔMICO



VALOR MÉDIO
“VALOR REAL” (ANÁLISES SERIADAS)

FONTES DE ESPECIFICAÇÕES



ESPECIFICAÇÕES: hierarquia

1. Impacto do desempenho analítico em função de
cenário clínico específico
2. Impacto do desempenho analítico em função de
cenário clínico geral
PREFERÊNCIA
PREFERÊNCIA

3. Diretrizes de Sociedades Científicas
4. Limites de entidades regulamentadoras, acreditadoras
e provedores de ensaios de proficiência
5. Estado
5 “Estado da Arte”: dados publicados
Arte :

Fonte:
Hierarquia IUPAC-IFFCC-OMS
Estocolmo, 1999

ESPECIFICAÇÕES:Modelos



Erro Total máximo baseado em dados de
variação biológica dos analitos

ETa = 1,65 . (0,75 CVI) + 0,375 . (CVI2 + CVG2)1/2

CVI é correspondente à variação biológica intra-individual do analito
CVG é correspondente à variação biológica inter individual do analito
inter-individual



ESTUDANDO UM MÉTODO ANALÍTICO



ESTUDOS DE AVALIAÇÃO DE MÉTODOS

• AVALIAÇÃO é a determinação das características de
desempenho analítico de um novo método
• VALIDAÇÃO é a confirmação por estudo e obtenção de
evidências objetivas de que os requisitos para o uso
específico podem ser atendidos
– RDC-302: Validação é o “procedimento que fornece evidências de
que um sistema apresenta desempenho dentro das especificações
da qualidade, de maneira a fornecer resultados válidos”.
• VERIFICAÇÃO é a confirmação por análise das evidências
objetivas de que os requisitos para o uso específico estão
sendo atendidos, nas minhas condições de rotina.

ESTUDOS DE AVALIAÇÃO DE MÉTODOS

• VALIDAÇÃO:
– Ensaios “in house .
in house”
– Ex.: Biologia Molecular
• VERIFICAÇÃO:
– Ensaios comercialmente disponíveis
– Ex.: Ensaios de rotina para bioquímica/inumologia



O que é VALIDAR um método?

Processo para comprovar que um procedimento,
processo, equipamento ou método pode funcionar da
forma esperada e produzir os resultados desejados.
desejados

Estudo que visa a confirmação, por análise e obtenção
de evidências objetivas, de que os requisitos de
desempenho desejados para uma aplicação analítica
específica podem ser efetivamente obtidos pelo
laboratório.

Porque VALIDAR um método?

• Confirmar que o laboratório é capaz de seguir as
instruções do fabricante do ensaio e obter os
resultados esperados
• Comprovar o adequado desempenho do método
nas condições de uso (indústria vs. laboratório)
• Obter as reais características de performance do
método analítico (utilização em CQ, por ex.)
• Exigência de órgãos/normas reguladores
– CLIA, CAP, RDC302, etc.



Como VALIDAR um método?

• Estimar os ERROS analíticos do método teste
• Comparar os erros obtidos com erros
analíticos máximos aceitáveis e, com base
e
nessa comparação, julgar a aceitabilidade
analítica do método teste (VALIDAÇÃO
ANALÍTICA)
• Avaliar a adequação clínica do método,
analisando a correlação dos resultados obtidos
com o método teste frente à dados ou
desfechos clínicos (VALIDAÇÃO CLÍNICA)



VALIDAÇÃO ANALÍTICA: Experimentos

Imprecisão

Inexatidão

Fonte: www.westgard.com

ESTUDOS DE VALIDAÇÃO: Protocolos

• Protocolos CLSI
– EP9: Estudos de Comparação de métodos
– EP5: Estudos de Replicação
– EP6: Linearidade
– EP7: Interferências
– ...




• Westgard
– www.westgard.com
– Livros




Validação de Métodos: Ferramentas

ERRO RANDÔMICO: IMPRECISÃO

• IMPRECISÃO DE CURTO PRAZO
– Estudo de Replicação “Intra-ensaio” ou “Within-run”
– Várias replicatas (20) de uma mesma amostra analisadas em
batelada única
– Concentrações próximas aos níveis de decisão médica
– Obter dados de imprecisão (DP, CV%)
• IMPRECISÃO DE LONGO PRAZO
– Estudo de Replicação “Inter-ensaio” ou “Between-run”
– Avalia a “Imprecisão total” do método
Imprecisão total
– Várias replicatas de uma mesma amostra analisadas em
diferentes bateladas (e dias) diferentes
– Concentrações próximas aos níveis de decisão médica
– Obter dados de imprecisão (DP, CV%)



ESTUDO DE REPLICAÇÃO

CV% = ( s / x) * 100

ER = s
ER% = CV%

ERRO SISTEMÁTICO: INEXATIDÃO

• ESTUDO DE COMPARAÇÃO DE MÉTODOS
– Comparação do método teste com método de referência ou
padrão
– Avalia ERRO SISTEMÁTICO CONSTANTE e PROPORCIONAL
• ESTUDO DE INTERFERENTES
– Avaliação de efeito da adição de possíveis interferentes na
amostra
– Avalia ERRO SISTEMÁTICO CONSTANTE
• ESTUDO DE RECUPERAÇÃO
– Avaliação do efeito da adição exógena do analito na amostra
– Avalia ERRO SISTEMÁTICO PROPORCIONAL



ERRO SISTEMÁTICO CONSTANTE E PROPORCIONAL

ESTUDO DE COMPARAÇÃO DE MÉTODOS

• Mesmas amostras processadas em ambos os
métodos (teste e referência)
– N° amostras: mínimo 40 amostras
t í i t
– Concentrações distribuídas eqüitativamente dentro da faixa de
medição do teste
– Preferencialmente processadas em duplicatas
• Obtenção de dados de correlação e regressão
• Utilização dos dados de regressão para estimar o
ERRO SISTEMÁTICO em níveis de decisão
í i d d i
médica



Comparação de métodos:
Recomendação de Protocolo

• Selecionar o método de referência ou comparativo
• Selecionar 40 amostras contemplando toda a faixa
analítica do método
• Analisar 8 amostras por dia, em período de no
máximo 2 horas, nos métodos teste e referência
• Plotar resultados em um gráfico de diferenças
(
(Bland-Altman) e identifique p
) q possíveis
discrepâncias
• Re-processar amostras com resultados
discrepantes

Comparação de métodos:
Recomendação de Protocolo

• Prosseguir o estudo até o 5° dia, se nenhuma
discrepância for observada
• Plotar um gráfico de dispersão com os resultados
dos dois métodos
• Correlacionar os dois métodos; se coeficiente de
correlação alto, proceder análise de regressão e
estimar o Erro Sistemático nos níveis de decisão
médica
• Combinar o Erro Sistemático com o Erro
Randômico para julgar aceitabilidade do método



Definição do método comparativo

• É uma das etapas mais importantes de todo o estudo de
validação de um novo método
• Todos os resultados obtidos nos estudos para avaliar o novo
método são dependentes da qualidade e relevância do
método comparativo utilizado com referencial
• Preferência: utilizar padrão-ouro (Método Definitivo) para o
teste em estudo

• Mais comum: utilização do método de rotina no laboratório
ç
(em caso de troca de metodologia existente).
– Não é o ideal
– Vamos estar avaliando erros do novo método baseado no desempenho
de um método que pode não ser o mais adequado para aquela análise.

Estudo Preliminar: Correlação

• O objetivo do estudo de correlação é determinar
a força do relacionamento entre duas variáveis
• A análise de correlação indica a existência de
relacionamento entre duas variáveis e se este
relacionamento é forte ou fraco
• Correlação envolve uma forma de estimação, no
caso, a estimativa de uma relação que pode
existir
e istir na população.
pop lação



Coeficiente de Correlação de Pearson

Para uma amostra de “n” pares de valores (x,y) o coeficiente
de correlação ( r ) fornece uma medida da relação linear que
e s e entre
existe e e duas variáveis a ea ó as “X” e “Y”
a á e s aleatórias



Coeficiente de Correlação (r)

r Correlação
> 0,90 Muito alta 0,975

0.70 a 0.90 Alta
0.50 a 0.70 Moderada
0.30 a 0.50 Baixa
< 0.30 Sem correlação

Cuidado!

Um coeficiente de Referência Teste

correlação (r) elevado 0,50
0 50 1,00
1 00

entre método teste e 0,25 0,50

referência não é 1,00 2,00

suficiente para considerar 0,75 1,50

o método teste adequado 0,20 0,40

para utilização na rotina 0,30 0,60
1,80
1 80 3,60
3 60
0,63 1,26
0,45 0,90
R = 1,00
Teste = 2 x Ref



COMPARAÇÃO DE MÉTODOS



REGRESSÃO

Y = a .X + b

Y: concentração do analito no método teste

X: concentração do analito no método referência

a: Coeficiente angular (“Slope” ou “Inclinação” da c r a)
ang lar o curva);
Permite estimativa do Erro Proporcional

b: Coeficiente linear (“Intercept”); Permite estimativa do
Erro Constante

REGRESSÃO



REGRESSÃO

ES

ER



Por exemplo, r2 = (0,64)2 = 0,41 significa que 41% da variação
observada no método teste depende do método referência, ou
seja, a equação de regressão obtida explica somente 41%
j , q ç g p
dos dados (amostras) estudados

Então, r2 é a “nota” (qualidade, confiabilidade) da equação
de regressão obtida

Regressão no Excel



Análise dos Resíduos

• Resíduo é a diferença entre o valor estimado pelo
modelo e o valor da amostra.
• Deve ser plotado em relação a cada variável
independente e analisado
• Determinação de outliers:
• “Outiers”: “valores estranhos, não esperados”
• “Outiler” = 3 x Erro Padrão (S y,x)
• Analisar cada “outlier” e se pertinente repetir a dosagem
outlier e, pertinente,
em questão ou eliminar o dado

Análise dos Resíduos

Bland - Altman Difference Plot

3
2
% Difference

1
0
-1 0 5 10 15

-2
2
-3
[Cholesterol] mmol/L



ARMADILHAS DA REGRESSÃO

• Número de dados insuficiente para estimar os
p
parâmetros:
– resulta em um modelo fraco ou com coeficiente fracos

• Interpolação x Extrapolação:
– os indicadores de qualidade do modelo – r2 e ε – não são válidos na
extrapolação

• “Multicolinearidade”:
Multicolinearidade :
– correlação entre variáveis supostamente independentes

ARMADILHAS DA REGRESSÃO

Concentrações devem estar distribuídas
eqüitativamente dentro da faixa
q
de medição do teste



ESTUDO DE INTERFERENTES

+ Interferência ?

Intercept (b)

EP7 - CLSI

ESTUDO DE RECUPERAÇÃO

p
+ Recuperação?

Slope (a)



Sensibilidade

Vários termos são utilizados para descrever os diferentes
aspectos da sensibilidade analítica mínima do método:
• “Limit of absence (LoA)”:
Limit LoA) :
)
LoA)”:
– É a menor concentração do analito que o método pode diferenciar
de ZERO.

• “Limit of detection (LoD)”:
Limit LoD)”:
– É a concentração mínima do analito cuja presença pode ser
quantitativamente detectada sob condições definidas.

• “Functional sensitivity ou “Limit of quantification
Functional sensitivity” Limit
(LoQ)”:
(LoQ)
– É a concentração mínima do analito cuja presença pode ser
quantitativamente determinada de forma confiável sob condições
definidas. É a concentração na qual o CV é, no máximo, 20%.

Diferentes aspectos da Sensibilidade Analítica
ou Limites de Detecção



CONCLUINDO SOBRE O DESEMPENHO
ANALÍTICO DO MÉTODO

Interpretando os resultados dos estudos

• Erro Randômico (ER):

– Desvio padrão do estudo de replicação

ER = s

– Coeficiente de Variação da replicação

ER% = CV%




• Erro sistemático (ES):
– Estimar concentração no método teste em Níveis de Decisão
Médica (NDM)
– Exemplo: Supondo um equação de regressão...

“Y” (teste) = 1,02 (a) * “X” (ref) + 0,05 (b)

Substituindo “X” pelo NDM (126, Glicose)...
Y = (1,02 * 126) + 0,05
( , ) ,

Y = 129 mg/dL
é a conc. Glicose no método teste quando analisamos uma
amostra com 126 mg/dL no método de referência


• Erro sistemático (ES):
– Se “X” igual à 126 mg/dL
– Se “Y” igual à 129 mg/dL
Y”

ES = Y - X = 3 mg/dL

ES% = (3/126)*100 = 2,4%



Aceitabilidade dos métodos

Julgar pela comparação de erros obtidos nos
testes com erros permitidos (AE) para a
técnica, nos respectivos níveis de decisão
médica (NDM), pelos órgãos reguladores e/ou
literatura

TEa nível máximo de erro que pode ser tolerado sem
TEa:
invalidar a utilidade médica do resultado
NDM qualquer conc. do analito que seja crítica para
NDM:
interpretação médica (diagnóstico/tratamento)

Avaliação de Performance

ET = ES + ER

ET < ES + ER : rejeitar novo método

ET > ES + ER : aceitar novo método

É o suficiente???



Avaliação de Performance

• Lógica:
– Erro randômico (imprecisão):
• Mais difícil de contornar (minimizar)
• Exige muito controle no processo (incluindo CQ analítico)
• Envolve elevação dos custos
– Erro sistemático (inexatidão):
• Tem alternativas para ser minimizado: calibração, fatores de
ajuste, ajuste de valores de referência, etc.

Então,
E tã na aceitação de um novo método, o
it ã d ét d
INIMIGO É A IMPRECISÃO!!!

Avaliação de Performance: Critério 2




ER > 0,5*ET: Baixo desempenho

0,5*ET > ER > 0,33*ET: Desempenho Regular

0,33*ET > ER > 0,25*ET: Bom Desempenho

ER < 0,25*ET: Desempenho Excelente





ER > 0,5*ET: Desempenho inaceitável

0,5*ET > ER > 0,33*ET: Desempenho Regular

0,33*ET > ER > 0,25*ET: Desempenho intermediário

0,25 ET > ER > 0,16 ET: Bom Desempenho
0 25*ET 0 16*ET:

ER < 0,16*ET: Desempenho Excelente


Significado dos limites para classificação
de performance baseados em Imprecisão
ER = 0,5*ET ou 1/2*ET ou 2 DPs no intervalo aceitável de ET




6 DPs dentro do intervalo aceitável de ET:
Performance “6-SIGMA”
“6-



Impacto do nível de performance
• < 2 sigma: Não atendimento aos requisitos da qualidade,
sigma:
mesmo quando método está desempenhando em sua
performance padrão. Não aceitável para utilização na
rotina.
ti
• 2 a 4 sigma: Pode atender aos requisitos, quando
sigma:
desempenhando em sua performance padrão. É de difícil
C gestão na rotina, pois requer um robusto sistema de CQ,
U operadores bem treinados, rotina de manutenção
S preventiva agressiva, etc.
T • 4 a 5 sigma:
sigma: Atende aos requisitos de qualidade
O
desejados e pode ser bem gerenciado na rotina, com
menor esforço em termos de CQ, treinamento e
manutenção.
• 6 Sigma: amplamente aceitável e de fácil implantação na
Sigma:
rotina (auto-gerenciável); Menor custo de não-qualidade.

Padrão “6-sigma” na Validação de um
“6-
novo método laboratorial

ES + (6*ER) < ET permitido



Análise de performance em métrica-sigma

• Vantagens:
– Métrica única, viabilizando comparação entre diferentes
métodos ou processos
p
– Avaliação de desempenho baseado no atendimento de metas
esperadas/desejadas (especificações de
qualidade/desempenho)
– Correlação entre desempenho analítico, erros e custos
• Desvantagens: (Premissas)
– Conhecimento
– Cálculos
– Dependência da fonte de Erro Total utilizada

Métrica-
Métrica-sigma



Métrica-
Métrica-sigma

Métrica-
Métrica-sigma



Métrica-
Métrica-sigma



Performance em métrica-sigma
métrica-

métrica-



métrica-

métrica-



VALIDANDO NA PRÁTICA

Exemplo de Validação Realizada

Analito: TSH
Equipamento Teste: J&J Vitros ECi
Equipamento Comparativo: Siemens ADVIA Centaur



VITROS ECi

ADVIA Centaur



Tipo de Regressão

• Existem vários modelos matemáticos disponíveis
para análises de regressão linear
• Os mais utilizados em validação de métodos
laboratoriais são os de “Passing-Bablok”,
“Deming” e “Mínimos Quadrados”
• Estes modelos tem premissas distintas e tem
aplicações e impactos diferenciados nos
resultados de uma validação analítica

Tipo de Regressão
• “Mínimos Quadrados”: assume a inexistência de
erros no método de referência
• “Deming”: utiliza algoritmo de regressão ortogonal
Deming : ortogonal,
assumindo que a imprecisão está presente em ambos
os métodos (teste e referência), e é a mais adequada
quando há presença de erro sistemático proporcional
• “Passing-Bablok”: procedimento estatístico não-
“Passing-
paramétrico cujo algoritmo matemático suporta
variância (imprecisão) não constante em ambos os
métodos comparados



Tipo de Regressão:
TSH, VITROS ECi

Outros Exemplos



Using Routine Method
as reference for Bias%
determination

Using Routine Method
as reference for Bias%
determination



PADRONIZANDO O SISTEMA DE CQ



Métrica-
Métrica-sigma e Regras CQ



QC design baseado em desempenho



VALIDAÇÃO E “SEIS SIGMA”

1° trabalho sobre “Seis Sigma” publicado em revista
indexada na área de medicina laboratorial
i d d á d di i l b i l

VALIDANDO VALORES DE REFERÊNCIA



IMPLANTANDO NA ROTINA



Implantação na rotina

• Treinamento
• Padronização
• Verificação periódica de desempenho
– Controle do Processo

PADRONIZAÇÃO



CONSIDERAÇÕES FINAIS

IMPORTÂNCIA E EFEITOS

• A validação analítica de um método antes da
implantação na rotina é essencial para assegurar a
qualidade da informação diagnóstica fornecida pelo
laboratório

• “Quebra de Paradigma”: Estudos de validação não
geram custos, mas sim evitam custos
desnecessários e conseqüências indesejá eis aos
indesejáveis
clientes e ao negócio



LIMITAÇÕES

• Validar analiticamente um método não dispensa a
validação clínica do mesmo

• Validação trata prioritariamente de erros
ANALÍTICOS. A maioria dos erros em laboratório são
PRÉ-ANALÍTICOS

• Atendimento de requisitos de qualidade analítica por
um método laboratorial não garante resultados
adequados:
– treinamento, padronização e controle de processo são essenciais

OBRIGADO!


Curso Validação Métodos - Congresso SBAC 2009 - Fernando Berlitz

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (8)

Semelhante a Curso Validação Métodos - Congresso SBAC 2009 - Fernando Berlitz

Semelhante a Curso Validação Métodos - Congresso SBAC 2009 - Fernando Berlitz (20)

Mais de Fernando Berlitz

Mais de Fernando Berlitz (12)

Curso Validação Métodos - Congresso SBAC 2009 - Fernando Berlitz