プログラム評価，プロジェクトサイクルマネジメント

1. 教育プログラム評価とPCM
(Project Cycle Management)
大西弘高
東京大学医学教育国際協力研究センター
岐阜大学MEDC客員教授

2. Deming Cycle
 継続的な質管理，質改善
Plan
Do
Check
Act

3. カリキュラム開発
 6-step Approach (Kern)
1. 問題の定式化と全般的ニーズ
アセスメント（医療・公衆衛生）
2. 対象学習者の
ニーズアセスメント
3. 一般目標と個別目標
4. 教育方略（内容＋方法）
5. 実施（人・物・金・
時間のリソース，
組織内政治・・・）
6. 学習者評価と
プログラム評価
●
●
●
●
●
●

4. 例：新医師臨床研修制度

9. プログラム評価のあり方
 単に良い・悪いと一元的に決められる
評価など，きっとほとんどない
 現状の改善，失敗からの学習，次回
に活かす・・・
 誰が，何を，誰のために，何のために，
どのように，どのような枠組みにて，どの
程度のコストで，どの程度まで評価す
ればよいのか

10. プログラム
 プログラム評価の文脈
 何かの目的（ゴール）を達成するために，
人が中心となって行う活動全般
 政策評価の文脈
 あるアウトカム目標を実現するための施策，
事業の集合体

11. プログラム評価の定義
（Program Evaluation）
 Scriven (1967)
 方法論的な活動により，実績データを目
標値と照らし合わせること
 Scriven(1991)
 明確化および正当化された基準により，
物事（つまりプログラム）の価値を判断す
ること
 以前よりはプログラムのvalueを重視する定義
が増えている印象

12. 何を評価するか
 プロセス（process）
 工程（operation）
 機能（function）
 アウトカム・結果（outcome）
 効果（effectiveness）
 アウトプット（output）
 インパクト（impact）
 自律発展性（sustainability）

13. プログラム評価の目的
 形成的評価（formative evaluation）
 目的：プログラムの発展と改善
 総括的評価（summative evaluation）
 目的：アカウンタビリティ
 価値判断や意思決定のための評価
 評価を通じた知識の習得や付加
 宣伝活動のための評価

14. 内部と外部の目
 外部からの評価・分析
 内部の政治から中立
 一部の情報へはアクセスが困難
 内部からの評価・分析
 情報は豊富
 評価が学習につながる
 重要な側面が死角になる／隠蔽されること
がある

15. 評価の焦点のレベル
組織変革
患者の利益
行動変容
知識やスキルの獲得
態度や認識の変容
学習者の反応（満足度など）
Kirkpatrick
の４段階 Level 4
Level 3
Level 2
Level 1

16. Think-Pair-Share
 何か評価したい教育プログラムを想定
 その教育プログラムにおけるLevel3，4の
目標が何であるかを考えてみる

17. デザイン，実施，推論の対応
デザイン 実施
研究テーマ 研究計画 実際の研究
予定された
サンプル集団
研究結果
研究範囲での
真理
普遍的真理
推論 推論
内的妥当性
目的とする
現象
予定された
観察因子 実際の測定
外的妥当性
実際の
研究参加者
目標母集団
誤差 誤差
(木原監訳．医学的研究のデザイン．p35)

18. 量的データによる評価の課題
 対照群を設けること（教育しない群ができる），
ランダム割り付けすることは倫理的にOK？
 対照群は人口動態学的要因，心理学的要因
に関して実験群と同等か
 全国展開するプログラムには比較群無し
 真の実験デザインを選択すること自体が困難

19. 倫理的懸念を避けるデザイン
 ランダム化比較事前事後テスト
E O1 - - X - - O2
R
C O1 - - - - - O2
※対照群の学生は教育介入を受けられない
 交代介入による比較事前事後テストデザイン
E O1 - - X - - O2 - - - - - O3
R
C O1 - - - - - O2 - - X - - O3

20. 広義の準実験デザインの工夫例
 複数指標による１群事前事後テストデザイン
O1A O1B X O2A O2B
 O1AとO1Bに有意差がなく，
O2AとO2Bにも有意差がない
 O1AとO1Bの平均とO2AとO2Bの
平均との間には有意差がある
 Xが差をもたらしたと推測可能
 履歴効果，成熟効果，測定
効果，テスト効果は，いずれ
もゼロではないが，単なる事前
事後テストデザインよりははるか
によい

21. 準実験デザインの工夫例
 複数回の事前テストによる不等価統制群事
前事後テストデザイン
 介入群において，
介入後の傾きの
変化が大きい
E O1 O2 X O3
C O1 O2 O3
O1 O2 O3
E
C

22. データの性質
量的データ
 仮説検証
 科学的モデルの利用
 標準化され，客観的で
（信頼性のある），再
現性を持つ，一般化可
能性のある結果の強調
 ランク付けが可能
質的データ
 より自然な状況で
 研究者自身を道具として
利用可能
 分厚い記述
 社会プロセスへの焦点
 多種のデータ収集方法の
利用
研究目的ならばどちらかだけを使うことが多いが，評価目的なら
両方上手く用いるべき

23. 科学的側面と実用的側面
 Donald Campbell (1969)
 政策やプログラムに関する決定は，社会状況を
改善するための方法を検証する継続的な社会
実験から引き出されるべき
 Lee Cronbach (1982)
 評価も科学的研究と同様の科学的手続はとる
が，評価の目的は科学的研究から明確に区別
されるべき．利害関係者のニーズ充足を志向す
べき．

24. 研究と評価の違い
研究 評価
探求の焦点 考察 決定
結果の一般性 高 低
重要性の基準 真実 価値

25. カリキュラム評価論
 行動目標的アプローチ（Tyler RW）
 ゴール・フリー評価（Scriven M）
 羅生門モデル（Atkin JM）

26. 評価アプローチの観点
Objectives-
oriented
Management
-oriented
Consumer-
oriented
Expertise-
oriented
Adversary-
oriented
Participants
-oriented
Utilitarian
Evaluation
Intuitional-
pluralist
Evaluation
• Stake’s
Countenance
Model
• Transactional
Ev
• Illuminative Ev
• Democratic Ev
• Naturalistic Ev
• Responsive Ev
• Owen’s
model
• Judicial Ev
• Formal/ informal
Professional
Review
• Ad Hoc Panel/
individual
Review
• Educational
Connoisseurship
and Criticism
• Scriven’s
model (goal
free Ev)
• Tylerian Ev
Approach
• Logical method
------------------------
• Stufflebeam’s
CIPP Ev Model

27. マネジメント志向型評価
～CIPP評価モデル（Stufflebeam）～
 Context：計画を評価．ニーズ調査
 Input：システムを評価．リソース調査
 Process：実施段階を評価．開始後の問
題点や改善点を調査
 Product：アウトカムを評価．当初計画と
比較し見直しを図る

28. Project Cycle
Management
 計画，実施，評価の３つのプロセスからな
るプロジェクトのライフサイクルを，PDM
（Project Design Matrix）を用いて運
営管理する方法
 PDMを見れば，プロジェクトの概念構成が
一目で分かる
 評価はマネジメント志向型

29. PDM: Project Design Matrix
プロジェクト要約 指標（客観的に提
示可能なもの）
（データ）
入手手段
（満たすべき）
外部条件
上位目標
（インパクトレベル）
プロジェクト目標
（アウトカムレベル）
アウトプット
活動 インプット
前提条件

30. 上位目標 ラオス国において医師に対する臨床研修の質が改善される
ﾌﾟﾛｼﾞｪｸﾄ
目標
セタティラート病院において医学部学生の臨床実習及び医学部卒業後2年以内の
医師の卒後早期臨床研修の質が改善される
ｱｳﾄﾌﾟｯﾄ 1. セタティラート病院の教育病院としての臨床研修に関する知見が拡充される
2. セタティラート病院において研修管理体制が改善される
3. 臨床研修指導担当医の能力が強化される
活動 1-1. ベースライン調査を実施
1-2. 教科書や参考書を導入
1-3. 研修センターの建設と実習活動
1-4. 診療録の内容や管理方法を改善
1-5. 症例呈示のための学習教材作成
2-1. 病院の臨床研修の理念を設定
2-2. 研修管理委員会(TMC)を設置
2-3. TMCを開催する
2-4. TMCの議事を蓄積する
2-5. MTUの機能を向上する
2-6. 図書館の運営を改善する
2-7. 内部モニタリングを設定する
2-8. 保健省人材育成ワーキンググルー
プでプロジェクト成果を反映
3-1. TOTカリキュラムを策定
3-2. TOTのための指導教材作成
3-3. 教育病院でTOT研修を実施
3-4. 医学教育セミナー開催
3-5. 指導医モニタリングの基準設定
3-6. 指導医をモニタリング
3-7. ニュースレター、ポスターによる教育
普及
PDMの例（ラオス）

31. プロジェクト要約
上位目標
（インパクト）
新しい医学教育システムがアフガ
ニスタンで標準となる
プロジェクト目
標
（アウトカム）
カブール医科大学で総合医育成の
新しい医学教育モデルが導入され
る
アウトプット 1. 総合医育成教育の質改善
2. 医学教育センターの機能強化
活動 1-1 FDの実施
1-2 教材作成
1-3 新しい教育方法の導入
1-4 評価システムの策定
1-5 教育の実施
2-1 情報収集システムの構築
2-2 医学教育ニュースの発行
2-3 EDCのスタッフ育成
2-4 評価への認識の向上
2-5 FDの計画，実施，運営
1. 基本政策が不変
2. 政府が総合医を重視
1. 権力側が卒前教育を重視
2. 保健省と教育省・カブール
医科大学の連携が上手く
いく
1. 頭脳流出が起こらない
2. 医学教育センターの教員
や職員が仕事を継続
政治の安定
その他の前提条件
重要な外部条件
プロジェクト終了時評価の例（アフガン）

32. PDMと評価の順序・方向性
プロジェクト要約 指標（客観的に提示
可能なもの）
（データ）
入手手段
（満たすべき）
外部条件
上位目標
（ｲﾝﾊﾟｸﾄﾚﾍﾞﾙ）
ﾌﾟﾛｼﾞｪｸﾄ目標
（ｱｳﾄｶﾑﾚﾍﾞﾙ）
アウトプット
活動
インプット
前提条件
If
Then
If And
Then
If And
If And
Then
Then

33. ロジックモデル
 プログラムマネジメントの一環としてプログラムを
可視化するツール
 因果関係の流れを示したチャート図において
各要因がif-thenでつながる（Kellogg
Foundation, 2001）
投入
input
活動
activity
結果
output
成果
outcome
インパクト
impact

34. 投入(input): 資源
 プログラムに直接的・間接的に関わるもの
 ヒト → スタッフ，運営委員等
 モノ → 物品，設備等
 カネ → 資源にかける費用
 場所 → 施設
 時間 → 会議や運営にかける時間
 情報 → 資源，運営に必要な情報

35. 活動(activity): 方略
 プログラムの中身
 講義，小グループ活動などの教育
 医療サービスの提供そのもの
 カンファレンスや回診など混在したもの

36. 結果(output)
 プログラムによって直接的にもたらされる目標
 活動の期間や回数
 患者心理に関する小グループ学習が10回実施される
 倫理ケアカンファレンスが週1回のペースで継続される
 プログラムが果たした機能や役割
 患者心理への配慮に関する認識が高まる
 倫理的ケアの分析方法を身に付ける

37. 成果(outcome, impact)
 プログラムによる受益者・利用者レベルの変化
 患者や社会
 倫理的なケアの問題の指摘が減少する，または内容
に客観的な変化が表れる
 組織運営
 倫理ケアカンファレンスが組織に根づき，継続される

38. Kirkpatrickの4段階と
PCMの評価レベル
Impact
Outcome
Output
Output
反応
変容
組織変革
患者の利益
行動変容
知識やスキルの獲得
態度や認識の変容
学習者の反応（満足度など）

39. 明確な目標が謳われていない
組織・プログラムの評価
 プログラム評価を考える場合，まずはアウト
カムや組織の理念，次いでアウトプットという
順で評価の方向性を考慮する
 評価の前に，組織・プログラムの管理レベル
の人たちに仮想のロジックモデルを示した上で
評価のエビデンスを探っていく
 質的な情報を紡ぐことを重視し，量的な情
報はその客観化のために加える印象