Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Mais de 東京大学医学系研究科医学教育国際研究センター
Mais de 東京大学医学系研究科医学教育国際研究センター (20)
04 学習者評価
- 2. 導入 今までに受けた中で，悪い意味で印象に 残っている評価（試験，テスト）を思い 浮かべてみてください 理不尽に不合格にされた そもそも教育がしっかりしていなかった 脅迫的で，緊張を強いる評価だった
- 3. 評価の重要性 Assessment drives learning (Miller) 評価は学習を導く 例）韓国では，医師国家試験に2009年から実技評価を 採り入れた．不合格者が3%程度出て，裁判沙汰にも なるなどの社会現象を引き起こす一方，シミュレーション 教育が非常に盛んになった．ただ診療参加型臨床実習 （クラークシップ）を推進したかった教育関係者の中には むしろ後退したと苦言を呈する者もいた
- 5. 評価と評定 評価 目標と比較し，フィードバックを提供 評定 評価をレベル分けや点数に結び付け，合否を 判定可能な形にする 学習者は最終的には評定を気にするが，そこに 至る学習プロセスには評価全体が重要
- 6. 評価の種類：対象範囲 学習者評価（assessment） 本日の主題．これだけでもなかなか難しい ミクロレベル，学習者個人のレベルの議論と学 習者全体のレベルの議論 カリキュラム評価（evaluation） 日本語は同じ“評価”なので，混同しやすい マクロレベル，学習者全体を越えて包括的なレ ベルでの議論になる
- 7. 評価の種類：時期・目的 形成的評価 （formative） 総括的評価 （summative） カリキュラムに おける時期 カリキュラムの途中 カリキュラムの終わり 主目的 改善点を示す， フィードバックする 評定をし，合否判定 などの決断につなげる 信頼性 必要性低い 必要性高い
- 8. データ：量的か質的か 量的データ 質的データ 客観性 一見高い 低い 学習者間の比較 容易 困難 情報量 少ない 多い
- 9. 情報の圧縮 Q: 講義に満足しましたか. 1) 非常に満足 2) 満足 3) 少し満足 4) 不満 肺炎の起炎菌 S. pneumoniae - most common H. influenzae K. pneumoniae 1)です．彼女の講義はよくまとまってい て，分かりやすいです． 2)です．分かりやすい講義でしたが， 時に単純過ぎました． 3)です．講義ノートはいいですが， あの作り笑顔が嫌いなので． 4)です．彼女の洋服，あまりに イケてないんだもの
- 10. カリキュラム開発 6-step Approach (Kern) 1. 問題の定式化と全般的ニーズ アセスメント（医療・公衆衛生） 2. 対象学習者の ニーズアセスメント 3. 教育目標 (一般目標と 個別目標) 4. 教育方略（内容＋方法） 5. 実施（人・物・金・ 時間のリソース， 組織内政治・・・） 6. 学習者評価と プログラム評価 ● ● ● ● ● ●
- 11. 優れた学習者評価とは 妥当性(validity or coherence)：評価すべき内容を評価 信頼性(reproducibility or consistency)：評価の安定性 等価性(equivalence)：異なる施設・タイミングでも同等か 実施可能性(feasibility)：現実に実施しやすいか 教育効果(educational effect)：学習を動機づけるか 触媒効果(catalytic effect)：将来の学習を増強するような フィードバックを提供できるか 受容可能性(acceptability)：利害関係者がプロセスや結 果を信用できると感じるか
- 12. 教育目標分類と評価 知識（認知領域） 想起，解釈，問題解決などのレベル スキル（精神運動領域） 態度（情意領域） スキルがあっても行動が変わるとは限らないが， スキルに態度変容が加われば行動が変容する
- 13. 教育目標分類はなぜ有用か 知識＞スキル＞深い知識，態度，という 評価のバランスになってしまいがちなことが 分かりやすくなる 認知領域において，知識は問題解決の 必要条件だが十分条件ではない
- 15. 例）医師国家試験 免許授与の可否を問う試験 浅い知識のみが問われる（全てMCQ） 合否判定は試験作成者が決定 世界的には医師国家試験を行う国は少数 問題点 態度，スキル，深い理解は問われない 大学別合格率が大学評価に利用される？
- 16. 様々な評価法(主なもののみ) 教育目標 評価手法 知識 MCQ，短答記述式 深い理解 口頭試問，小論文 スキル OSCE，実地観察 態度 評価表，ポートフォリオ
- 17. 臨床評価の真正性レベル Knows Knows How Shows How Does 知識に基づく評価 筆記試験やCBTなど （Miller GE. Acad Med 1990; 65: S63-7.） 臨 床 評 価 の 真 正 性 行動・パフォーマンスに基づく評価 技能・コンピテンシーに基づく評価 現場での業務能力・態度も関係 シミュレーション可能な技能 机の前で勉強して 点数がとれるもの
- 18. OSCE Shows howの評価 利点 ステーション数増やせば信頼性高い 様々なスキルを評価可能 欠点 OSCEの評価項目に合わせて実際の利用を考 慮しない学習が惹起される可能性 総括的評価の場合など極度の緊張生じる
- 19. 態度領域の評価 基盤となる知識についてはテストも可能 態度そのものについては形成評価(フィードバ ック)を重視する．総括評価(合否判定)は むしろパフォーマンス評価で行うべきか 総括評価は良い学習をもたらさないことも 何らかの行動として表れたのであれば，その 行動自体を評価・フィードバックする 「最近よく文献調べて診療しているようだね」
- 20. 業務に基づく評価 (work-based assessment) Does，パフォーマンスの評価が可能 Mini-CEX(mini clinical evaluation exercise)： 外来での実患者の診察に対する概略評価 DOPS(direct observation of procedural skills)： 目の前でのスキルの実演をチェックリストで評価
- 21. High-Stake Test 合否が修了認定に関わり，社会的に大きく 影響するような試験 合否判定に関し，信頼性が問題となる 内的一貫性：問題・課題の数，一元性etc 評価者間信頼性：客観試験でない場合，評価 観点の標準化，評価者トレーニング，評価表の 構成などが問題に
- 22. 内容 試験のブループリント，領域に対する項目の代表性，達成領域に 対するテスト内容の論理的／経験的な関連性 処理 プロセス 学習者によるテストフォーマットへの慣れ，スコアや評価の正確性， 部分点の分析 内的構造 項目分析データ：項目の難易度と識別係数など， 他の変数と の関係 収束的相関，弁別的相関，エビデンスの一般化可能性 結果 テスト結果が学習者や社会に与える影響， 妥当性に関わる情報 （Downing. Med Educ 2003;37:830を改編） 信頼性は妥当性に関わる情報の一つ 測定の標準誤差，一般化可能性分析 合否基準スコア決定 方法の妥当性，合否結果：決定の信頼性と分類の正確さなど 項目の信頼性，