O documento discute métodos tradicionais e o modelo OSCE para avaliação de habilidades clínicas de estudantes de medicina. O modelo OSCE envolve estudantes passando por estações para realizar tarefas clínicas observadas, visando maior validade e confiabilidade em comparação aos métodos tradicionais. Experiências na Faculdade de Medicina de Ribeirão Preto mostraram que o modelo OSCE requer planejamento cuidadoso e recursos significativos.

1. Olho Mágico - Vol. 8 - Nº 1 jan./abr.2001
Avaliação de habilidades clínicas: os métodos tradicionais e o modelo
“OSCE”
Luiz Ernesto de Almeida Troncon
Professor Associado do Departamento de Clínica Médica,
Faculdade de Medicina de Ribeirão Preto (FMRP),
Universidade de São Paulo,
Ex-Presidente da Comissão de Graduação (Coordenador
do Curso de Graduação em Medicina) da FMRP.
ledatron@fmrp.usp.br
As habilidades clínicas e a necessidade de avaliá-las
O domínio adequado das habilidades clínicas fundamentais constitui uma meta de
importância indiscutível do processo de formação básica do médico.
Consequentemente, a avaliação educacional do grau de domínio destas habilidades
adquire relevância inequívoca no controle da qualidade daquele processo. Entendese por habilidades clínicas fundamentais aquelas que envolvem a tomada da
história clínica, a realização do exame físico, a interpretação dos achados no
raciocínio clínico subsequente e, sobretudo, a interação e a comunicação
apropriadas com o paciente. Por sua vez, entende-se por avaliação, a obtenção de
informações relevantes sobre o desempenho do educando, que serão empregadas
para aperfeiçoar o processo formativo, reforçando os pontos positivos e corrigindo
as eventuais deficiências apresentadas.
Avaliações bem feitas fornecem dados que podem subsidiar intervenções voltadas
para o crescimento pessoal e profissional do educando, bem como para o
aprimoramento do próprio processo educacional. Além disso, contribuem para que
as escolas médicas assegurem-se de que estão formando médicos dotados dos
atributos minimamente necessários para o desempenho das suas atividades
profissionais futuras.
Os princípios, os componentes e as características dos métodos de
avaliação
Praticamente, todos os métodos de avaliação de habilidades clínicas existentes têm,
como princípios básicos, a observação do desempenho do educando em tarefas
clínicas específicas, executadas em pessoas que procuram atenção médica
(pacientes), bem como o correspondente juízo de valor sobre a adequação daquele
desempenho. A comparação dos comportamentos emitidos pelo educando com os
esperados, em cada situação ou contexto, permitirá a avaliação sobre o grau de
domínio das habilidades clínicas envolvidas. Assim sendo, o processo de avaliação
deve conter os seguintes componentes: 1) o avaliando; 2) o paciente em um
contexto ou situação específicos; 3) a(s) tarefa(s) clínica(s); 4) o observador; 5) o
instrumento de registro dos comportamentos observados e 6) os padrões de
comportamentos esperados, indicativos de domínio das habilidades avaliadas.
A escolha de um método adequado de avaliação de habilidades clínicas não é uma
tarefa fácil e representa um desafio para os educadores médicos. Essa escolha deve
recair, sempre que possível, em uma técnica que seja, ao mesmo tempo, válida,
fidedigna, operacionalmente viável e aceitável para todos os participantes da
avaliação. Importa, especialmente, considerar os atributos de validade e de
fidedignidade. A validade relaciona-se com o "quê" avaliar, enquanto que a
fidedignidade relaciona-se com o "como" fazer a avaliação. A avaliação preenche os
critérios de validade quando envolve tarefas clínicas inequivocamente importantes,
que devem ser cumpridas em nível de dificuldade compatível com o estágio da

2. formação do educando, em contexto que bem represente o que é comum na prática
médica. Por outro lado, avaliações que demandam o exercício de manobras pouco
usuais, ou envolvem “casos” difíceis ou raros, são de pouca validade,
independentemente do desempenho observado do educando
A fidedignidade, por sua vez, relaciona-se com a qualidade da medida e os seus
requisitos de objetividade e reprodutibilidade. Para que a avaliação preencha os
critérios de fidedignidade, deve-se cuidar para que todos os educandos sejam
avaliados em condições semelhantes, que o desempenho seja observado com
cuidado, bem como providenciar o emprego de instrumento de registro que
contenha descrição explícita dos comportamentos indicativos de domínio das
habilidades envolvidas. Por outro lado, avaliações em que as ações do avaliando
não são observadas com atenção, ou os juízos de valor submetem-se às
circunstâncias são de pouca fidedignidade.
Os métodos tradicionais de avaliação de habilidades clínicas
Os diferentes componentes acima descritos dos métodos de avaliação de
habilidades clínicas podem ser facilmente reconhecidos nas duas técnicas mais
antigas, tradicionais e comuns nas escolas médicas de todo o mundo: a) a
observação "em serviço" do educando pelo seu supervisor e b) o exame prático
com "caso-longo". Na observação "em serviço", o supervisor detecta pontos
negativos e positivos do desempenho do educando, enquanto o observa nas suas
atividades rotineiras, que demandam a execução de tarefas clínicas. Já no exame
com "caso-longo", o avaliador solicita ao examinando que faça a anamnese e o
exame físico de um(a) paciente pré-selecionado(a), tarefas estas que são seguidas
pela arguição.
Essas duas modalidades de avaliação são muito usuais, pois não oferecem maiores
empecilhos quanto à operacionalização ou à sua aceitação pelos participantes. Além
disso, são particularmente propícias à provisão de feedback imediato (avaliação
formativa). No entanto, ambas as técnicas apresentam aspectos que as
caracterizam como de baixos graus de validade e de fidedignidade (Newble, 1992).
Por exemplo, a observação, propriamente dita, quando “em serviço” é , em geral,
ocasional e assistemática e o registro dos comportamentos emitidos pelo educando,
nesta modalidade de avaliação, não é habitualmente feito em instrumento
específico. Na inexistência de explicitação dos comportamentos esperados, é
previsível que os juízos de valor expressem dados relativos ao empenho, interesse
ou dedicação do avaliando, do que o seu real grau de domínio das habilidades
clínicas (“efeito halo”). No exame prático com “caso-longo”, não é incomum a
inclusão de “casos” raros ou de dificuldade incompatível com o estágio da formação
do avaliando, ou, até mesmo, que o avaliando não seja observado , de fato, nos
longos minutos que dispende para tomar a história clínica ou fazer o exame do(a)
paciente. Desse modo, o foco da avaliação desloca-se, naturalmente, das
habilidades clínicas para os aspectos cognitivos despertados pela arguição. Além
disso, não é habitual o emprego de instrumentos estruturados e padronizados de
registro, de modo que os juízos de valor passam a depender, fortemente, de
particularidades (generosidade ou severidade) da personalidade do examinador.
O modelo "OSCE"
Procurando superar as deficiências de validade e de fidedignidade dos métodos
tradicionais de avaliação de habilidades clínicas, foi proposta uma técnica inovadora
de exame, conhecida como

3. O. S. C. E. - Objective, Structured Clinical Examination (Harden et al., 1975), que
é, hoje, internacionalmente reconhecida como altamente válida, fidedigna, acurada
e eficaz. Em uma “OSCE” típica, os examinandos percorrem, em alternância, várias
“estações”, onde devem desempenhar tarefas clínicas diferentes. Em cada uma
dessas estações, o desempenho do educando é cuidadosamente observado,
permitindo que o domínio de habilidades clínicas possa ser avaliado. As estações
podem envolver a execução de tarefas clínicas relativamente simples, como a
obtenção de partes da história clínica ou a realização do exame físico focalizado de
um órgão ou aparelho, ou podem ser estruturadas de modo a requerer a
abordagem “completa” de um(a) paciente, com a realização da anamnese e do
exame físico, seguidos pela orientação do paciente quanto ao diagnóstico. Questões
ou tarefas escritas podem ser acrescentadas, de modo a permitir a avaliação dos
aspectos cognitivos inerentes ao raciocício clínico. Pelas suas características de
flexibilidade e de versatilidade, a OSCE tem sido considerada antes um “modelo” de
avaliação de habilidades clínicas, do que como método específico.
Para garantir que o exame preencha os requisitos de validade, a estruturação de
cada estação é previamente elaborada de modo que contenha situações ou
contextos clínicos habituais, em grau apropriado de dificuldade, bem como envolva
habilidades clínicas relevantes, no nível adequado de complexidade. A fidedignidade
é garantida pela composição de um número mínimo de estações, pelo preparo ou
treinamento prévios dos pacientes e dos próprios avaliadores, bem como pela
elaboração minuciosa dos protocolos de observação, que devem conter descrições
detalhadas dos comportamentos esperados, indicativos do domínio das habilidades
que estão sendo avaliadas. Adicionalmente, contribui para maior fidedignidade o
fato de todos os examinandos serem avaliados nas mesmas condições. Nesse
sentido, adquire importância o preparo ou treinamento do(a) paciente, para que
forneça a mesma história, ou se comporte sempre da mesma maneira, ao ser
abordado, sucessivamente, por dez ou por cinquenta examinandos.
Para garantir desempenho uniforme e de boa qualidade por parte do(a) paciente,
desenvolveu-se a técnica dos “standardized patients”, ou “pacientes padronizados”,
que são pacientes reais, ou pessoas sem qualquer doença, que são preparadas para
protagonizar “casos” com características adequadas à avaliação. A partir do início
do seu desenvolvimento, na década de 1960, este recurso sofreu extraordinária
difusão e passou a ser empregado, extensivamente, na avaliação de habilidades
clínicas e, sobretudo, no ensino de habilidades de comunicação e de interação
médico-paciente (Anderson & Kassenbaum, 1993).
A alta qualidade do modelo OSCE pode ser comprovada pelo seu emprego
crescente em inúmeras escolas médicas de todo o mundo, em variados programas
de Residência Médica (Petrusa et al, 1990), em exames de certificação de
sociedades de especialistas, em exames de qualificação de médicos estrangeiros
para exercício nos Estados Unidos da América (Ziv et al, 1998) e de médicos
formados em diversas províncias canadenses (Resnick et al, 1992).
Experiência com diferentes aplicações do modelo OSCE
A partir da implantação de um programa institucional de avaliação terminal das
competências dos graduandos da Faculdade de Medicina de Ribeirão Preto (FMRP),
da Universidade de São Paulo, criaram-se as condições, nessa escola, para
aplicações do modelo OSCE em diferentes contextos.
Em sintonia com as diretrizes do citado programa de avaliação terminal do
graduando (Troncon et al, 1999), dois exames no modelo OSCE foram introduzidos,
sendo um voltado para as habilidades genuinamente clínicas (10 estações) e outro

4. para habilidades necessárias à realização de procedimentos diagnósticos e
terapêuticos (6 estações). No módulo de avaliação das habilidades clínicas, as
estações são desenvolvidas com pacientes reais, convenientemente preparados, ou
com “pacientes padronizados”, adequadamente treinados. No módulo de
procedimentos, empregam-se manequins e modelos em plástico e, em uma estação
de drenagem emergencial do tórax, um cão anestesiado.
Com a experiência adquirida no programa de avaliação terminal, cogitou-se da
aplicação de exame no modelo OSCE para a avaliação final dos alunos da disciplina
”Semiologia Geral” (Troncon et al, 1996), o que foi efetivamente realizado nos anos
de 1995 a 1997. Esse exame (6 a 8 estações) visava a avaliação exclusiva de
habilidades relacionadas com a tomada da história clínica em “pacientes
padronizados”, a comunicação e a interação com pacientes e a realização do exame
físico do tórax e do abdome em pacientes reais.
O envolvimento em aplicações do modelo OSCE, em contextos variados e distintos,
em uma iniciativa institucional e no âmbito de uma disciplina específica, permitiu
que se adquirisse experiência nos aspectos organizacionais dos exames e no
recrutamento e no treinamento de “pacientes padronizados”, bem como que se
vivenciasse situações peculiares, relacionadas às percepções de alunos e de
membros do corpo docente.
O planejamento e a administração de exames, no modelo OSCE, constituem
empreendimentos que consomem muito tempo e energia e demandam o
envolvimento de pessoal numeroso. Há que se contar com pessoal médico
encarregado da seleção de pacientes reais e com profissionais de apoio para o
preparo prévio para a atuação no exame, assim como para a assistência a estes
pacientes, antes, durante e após o exame. O recrutamento e o treinamento de
“pacientes padronizados” requer, igualmente, pessoal qualificado, familiarizado com
a técnica, além de recursos financeiros para cobertura de despesas de alimentação
e de transporte das pessoas que, em caráter de voluntariado, desempenham este
papel.
A avaliação, no modelo OSCE, demanda área física adequada, como grandes
enfermarias ou alas inteiras de um ambulatório, com capacidade para a instalação
de inúmeras estações, que vão constituir ambientes isolados uns dos outros e
propícios à abordagem do paciente pelo avaliando. A realização, de fato, do exame
exige pessoal de apoio para o isolamento e o controle do fluxo de pessoas pela área
física utilizada.
A necessidade de familiarizar os educandos com este modelo de avaliação,
procurando reduzir o estresse emocional durante o exame, bem como a
conveniência de acostumar os avaliandos a trabalhar em uma situação onde o
tempo precisa ser controlado, impõe a realização de provas simuladas, que são
táticas muito eficientes para atingir estas finalidades, mas que multiplicam o
dispêndio de tempo, energia e pessoal. A aceitação, por parte dos educandos, da
avaliação conduzida no modelo OSCE aumenta muito se estiverem acostumados
com as particularidades do exame e, sobretudo, se for introduzido um componente
de avaliação formativa. Isso é fácil e eficientemente conseguido se houver o
planejamento para que os minutos finais do tempo, em cada estação, seja
dispendido com o fornecimento de feedback ao educando sobre o seu desempenho
e discutindo, com ele, outras particularidades da composição da estação. No
entanto, esta medida simples, acrescida a cada estação, implica o aumento da
duração do exame e o acréscimo de dificuldades operacionais ao controle do
tempo.

5. A participação do corpo docente nas diferentes etapas do trabalho, exige
disponibilidade de tempo e níveis de capacitação e de motivação usualmente
superiores aos necessários para as atividades didáticas tradicionais. Esses
requisitos constituem, em seu conjunto, uma das principais dificuldades a serem
superadas, principalmente em instituições com corpo docente pequeno e com
diversificados e numerosos encargos de natureza didática, científica, médica ou
administrativa.
A introdução de avaliações empregando o modelo OSCE em escolas médicas mais
conservadoras pode esbarrar em reduzida aceitação dessa modalidade inovadora,
por parte de professores e de estudantes. Muitas dessas barreiras estão ligadas ao
que foi denominado de "ausência de uma cultura de avaliação" (Vianna, 1992).
Esse estado, por sua vez, associa-se a uma visão distorcida das práticas avaliativas
como algo destinado, apenas, a "premiar alguns e punir outros". Assim sendo, a
implementação de avaliações empregando o modelo OSCE pode ser, erroneamente,
vista como algo excessivamente complexo e trabalhoso para a obtenção de coisas
simples, como "dar uma nota ao aluno", que poderia ser conseguida com o
emprego dos métodos tradicionais.
A quebra dessas barreiras culturais, bem como a criação das condições materiais e
humanas propícias à aplicação do modelo OSCE de avaliação de habilidades
clínicas, em condições apropriadas de validade e de fidedignidade, exigem um
efetivo compromisso institucional das escolas médicas com práticas educacionais de
elevada qualidade.
REFERÊNCIAS BIBLIOGRÁFICAS
1) ADERSON M.B., KASSENBAUN D.G. Proceedings of the AAMC's Consensus
Conference in the use of standardized patients. The teaching and evaluation of
clinical skills. Academic Medicine. Philadelphia, v.68, n.6, p. 437-483, 1993.
2) HARDEN, R.M. Assessment of clinical competence using objective structured
clinical examination. British Medical Journal. London, v.1, n.5955, p. 447-451,
1975.
3) NEWBLE D.J. Assessing clinical competence at the undergraduate level. Medical
Education. Chicago, v.26, n.6, p.504-11, 1992.
4) PETRUSA E.R., BLACKWELL T.A., AINSWORTH M.A. Reliability and validity of an
objective structured clinical examination for assessing the clinical performance of
residents. Archives of Internal Medicine. Chicago, v.150, n.3, p.573-7, 1990.
5) RESNICK R.K. et al. An objective structured clinical examination for the
licenciate: report of the pilot project of the Medical Council of Canada. Academic
Medicine. Philadelphia, v.67, n.8, p.487-494, 1992.
6) TRONCON L.E.A. et al. Avaliação de habilidades clínicas por exame objetivo
estruturado por estacões, com emprego de pacientes padronizados: uma aplicação
no Brasil. Revista Brasileira de Educação Médica. Rio de Janeiro, v.20, n.2/3,
p.53-60, 1996.
7) TRONCON L.E.A. et al. Implantação de um programa de avaliação terminal do
desempenho dos graduandos para estimar a eficácia do currículo na Faculdade de
Medicina de Ribeirão Preto. Revista da Associação Médica Brasileira. São Paulo,
v.45, n.3, p.217-224, 1999.

6. 8) VIANNA H.M. Avaliação Educacional. Cadernos de Pesquisa. São Paulo v.80,
n.1, p.100-5, 1992.
9) ZIV A., et al. Lessons learned from six years of international administration of
the ECFMG's SP- based clinical skills assessment. Academic Medicine.
Philadelphia, v.73, n.1, p.84-91, 1998.