Recommended
More Related Content
Similar to データアカデミー Step8 政策評価トレーニング
Similar to データアカデミー Step8 政策評価トレーニング (20)
More from Hiroyuki Ichikawa
More from Hiroyuki Ichikawa (20)
データアカデミー Step8 政策評価トレーニング
- 2. 本日のアジェンダ 1. Icebreaker 5分 2. 行政評価とは 15分 3. ロジックモデル 40分 4. データに基づいた評価 15分 休憩 5. 行政評価方法の種類 30分 6. 評価の本質 15分 7. 演習 30分 8. Q&A 15分
- 3. 1. Icebreaker • 今年の夏に登山をすることになりました • 最初に何を決めますか？ • まずは、登る山ですよね • 次に何をするでしょうか？ • いつの時期に、どのルートで、何の装備でいくか • 山登りの最中に確認するのはなんですか？ • 地図や、GPSでルートを確認しますね • 登ったことをどうやって証明しますか？ • 写真や、感想など資料が残りますよね 目標 計画・手段 指標を 確認 エビデンス
- 4. 2. 行政評価とは 10分 • 政策評価の本質的な要素 政策評価法（行政機関が行う政策の評価に関する法律） 第三条 行政機関は、その所掌にかかる政策について、適時に、その政 策効果を把握し、これを基礎として、必要性、効率性または有効性の観 点その他該当政策の特性に応じて必要な観点から、自ら評価するととも にその評価の結果を該当政策に適切に反映させなければならない。 ２ 前項の規定に基づく評価は、その客観的かつ厳格な実施の確保を図 るため、次に掲げるところにより、行わなければならない。 一 政策効果は、政策の特性に応じた合理的な手法を用い、できる 限り定量的に把握すること。 二 政策の特性に応じて学識経験を有するものの知見を活用を図る こと。
- 6. 政策効果の把握 アウトカム • 政策効果を把握する • やりっぱなしはダメ、何の効果があるのかを常に問う。 • 前の人がやっていたから、やっているはダメ。 仕事を考えることをやめない。 • これについては、ロジックモデルで詳細は説明します。
- 8. 必要性・効率性・有効性 • すべてのところにエビデンスが必要となる 需要 投入 活動 結果 成果 必要性・妥当性 効率性 有効性 ・アンケート ・ニーズを示す量 ・対象人数 ・何個、何回？ ・過剰でないか ・費用は妥当か ・何個、何回？ ・参加人数 ・活動に費用が かかり過ぎて ないか ・アウトプットが 明確か ・結果をとる方法が 準備されているか ・何を持って価値があるか ・どの数値でそれを判断 するか
- 9. 合理的な手法、定量的な把握 • 合理的な手法 • 紙からデジタルへ。 • 文字列から数字へ。 • 手作業から自動化へ。 • ルーチンワークを増やさない。 • 定量的な把握 • 定性的な情報は定量的に置き直す。 • ちょっとだけトレーニング（5分） 「商店街がいつも綺麗な状態」というゴールがあった時に どのような指標を作りますか？
- 10. 商店街がいつも綺麗な状態とは？ • 商店街が綺麗だと何が良い？ • 通行量が増える • ゴミ掃除の時間を減らせる • 商店街のイメージが良くなる • などなど • では、それに対して数値を考える • トラカンによる通行者数が増加する • 商店街のゴミ清掃回数がxx回減る • 商店街にポジティブなコメントがxx%増える
- 11. 政策評価をどこに使うのか • 評価をするための制度ではないことを理解する → マネジメントサイクルを回すための手段である。 • 間違いや、改善事項の出て来ないサイクルを回しているなら 形骸化している。 • もしくは、評価の設定目標が低くなっているということ。 • 「設定した」目標が低すぎたのではないか、目標に 達成するために足りなかったものがないかを把握すること。 • ほぼ、成功しかないのであれば、窮地に立っている自治体は 皆無のはずである。
- 12. ロジックモデル
- 13. 3. ロジックモデル 15分 • アウトカムとは価値である • 価値の出ないものは、効果がないことである。 • プログラム理論 • 実施と成果との間に存在する介在メカニズム • 目指す成果を得るためには、こういう活動が必要であろうという仮説 • その活動に有効となるかを問う ＜プログラム＞ 活動やアウトプット 投入する人材・物資 ダイレクトな アウトカム （成果） 最終的に得る べきアウトカム （成果） プロセス インパクト
- 14. ロジックモデルによるEBPMの全体構成 • インプット ：活動を行うための資源、人間、予算 【指標】費用項目の指標となる • 活動 ：サービスや物品の形で提供する 【指標】効果項目 回数/件数/量などが指標となる • アウトプット：変化して、効果を発生させるサービスや物品 【指標】効果項目 回数/件数/量などが指標となる • アウトカム ：実際に生み出される効果 【指標】達成効果の数値 • ＥＢＰＭ（エビデンスに基づく政策立案）に関する有識者との意見交換会報告（議論の整理と課題 等）平成30年10月 総務省 ＥＢＰＭに関する有識者との意見交換会事務局 より抜粋 市のめざす姿 （総合計画の理想図） インプット 活動 アウトプット アウトカム インプット 活動 アウトプット アウトカム インプット 活動 アウトプット アウトカム インプット 活動 アウトプット アウトカム インプット 活動 アウトプット アウトカム アウトカム アウトカム まずここを検討 中間層を検討 個別を検討 個別と理想の ギャップが問題 効果を確認するには、現状と、数字的なエビデンス/指標が必要となる。
- 15. 政策 → 施策 → 事務業務 • 目標を達成するための政策→施策→事務事業の関係 • 飛躍があるもの、繋がらないところありませんか？ 目標 ①達成したと 言える指標は何？ 政策 政策 目標のために 政策をする 政策をすることで 目標が達成する 施策 施策 事務 事業 事務 事業 目標 目標実施 実施 実施 ②達成したと 言える指標は何？
- 17. 重要なポイント • 全ての施策、事務事業のアウトカムは、全体のアウトカムに 繋がるように構成される。 • 自治体の説明責任 ＝ 非財務数値と財務数値を表すこと • 行政評価 ＝ 説明責任の果たし方の体系化し、行政経営手法 • 「評価」と「調査」は違う • 調査は、因果関係を含む物事の現象を明らかにすること • 評価にするには、「価値判断」が必要 → 評価と言いながら、調査で止まっているものが多い。 すべての施策、事務事業に価値判断が必要となる。
- 18. 政策評価の手順 政策立案 政策決定 政策実施 政策効果 政策評価 ロジックモデルを 作成 事前評価 （費用対効果分析） モニタリング 定量的算出 事後評価 政策立案・政策実施へのフィードバック
- 19. 再び問い • 地方自治法第２条第14項 • 地方公共団体は、その事務を処理するに当つては、 住民の福祉の増進に努めるとともに、最少の経費で 最大の効果を挙げるようにしなければならない。 • 自信を持ってできている方は手をあげてください。
- 20. 総合計画をもとにした実習 • 裾野市の総合計画の構成は下記のようになっています • 施策の目的 → 目的にアウトカムが付いていない • 達成目標 → 指標（なぜが考えられているか） • 関連計画 • 現状と課題 → 問題・課題（紐づいているか） • 施策実現の手段 → 施策（紐づいているか） • 第四時総合計画の「1-4 地域における福祉の推進」を使い ロジックモデルを作成してみます。
- 22. 総合計画のどの目標と紐づいているか • 目指す姿と、課題がスムーズにつながるか確認します。 • 本来、違うところにいるべきものが混じっていないか • 課題で抜けがあるのかを疑う 目標 目指す姿 課題１ 課題２ 課題３ 課題４ どこにも紐づかない 課題がないか確認する。 課題が抜けている？があれば挙げだす。 課題が抜けてるために施策と繋がらない こともあり得る。
- 25. 指標を確認するデータはなにか • 各施策に対しての達成条件を確認するデータは何か？ 数値として何を捉えればエビデンスとなるか？ • n件増やす/n%向上するに根拠はあるのか？ • 定性的条件を定量的条件に変えることはできないか？ • そのデータは庁内に存在するのか？ • ５年前と比較できるデータは存在するか？
- 27. データに基づいた評価
- 28. 4. データに基づいた評価 15分 • みなさん、数値を基にしたエビデンスで確認してますか？ • 各部門の効果、対象を数値で説明できますか？ • アカウンタビリティってなんでしたっけ？
- 29. エビデンスに基づく政策立案 EBPM （Evidence Based Policy Making） 29
- 30. EBPM （Evidence Based Policy Making） • 確かな根拠に基づく政策立案 • 自治体が所有するクローズドデータや民間のデータも利用し、政策立 案、政策実行、モニタリングにデータを活用し、コスト検討・リソー ス配分をする。政策のモニタリングのために、指標（KPI）を設定し、 効果も把握する。 政策立案 政策実施 モニタ リング 庁内データ 指標設定 指標確認 効 果 フィードバックフィードバック
- 31. 事業評価から政策評価にする 経営 評価 基準 やり方 減量経営 事業評価 財源収支 シーリング、カット、縮小 行政経営 施策評価 施策効果 外部団体活用、効率的資産管理、行 政組織改革 政策経営 政策評価 政策効果 公共事業の選択、オープンガバナン ス、政策の最適化、費用対効果 支出の減少だけが目的になってませんか？ 効果を出し、選択と決断の経営にするためには 行政自身の政策能力と、政策評価によって政策選択の最適化が必要。
- 33. 裾野市のLINE Botもランダム化比較試験 • 新規サービス導入時には、結果はランダム化比較試験と なりやすい。なぜなら、どの程度の利用率、どんな時間帯 どんな検索がされているかは、試してみないとわからないから。 • とはいえ、実施して、どちらの方法が効果があるかを 知ることは、改修のポイントや告知の方法という施策に 繋がるので、その部分のエビデンスを作るためにも 実施が必要。
- 35. 10 分 休憩
- 36. 行政評価方法の種類
- 37. 協働型プログラム評価のすすめ • 最小の経費でアウトカムの改善向上を図る戦略マネジメント • 協働型とは？ • ファシリテーションを活用した市民協働ワークショップの推進 • 戦略の対象 • ロジックモデルの精緻化のために、住民視線を取り入れる • デザインシンキングの遂行 • PDCAでは遅すぎる。走りながら考えるデザインシンキングの推進。
- 38. ガバナンス体制の変遷 方法論 時代の流れ 役割 政策立案の主体 政策執行の主体 古典的行政 経済成長 基本的ニーズへ の対応 舟を漕ぐ 行政 行政 新公共経営 NPM 財政危機 公共経営 （民間経営の発 想） 舵を取る 行政 市場 新公共サービス NPG ニーズの多様化 社会的企業 マルチステーク ホルダー型解決 仕える 協働 協働
- 39. マトリクス お上型の中央集権 資源配分型 現場の行動様式変革 現場主義 行政内で対応 行政外の 人員と対応 NPG ニューパブリックガバナンス ・公務員の徹底したプロ意識 ・住民の主体的参画 ・多元性を持った統治秩序 NPM ニューパブリックマネジメント ・職場内の自立改善 ・個人の意識改革 ・組織や制度への挑戦 査定管理モデル ・行政内部の管理ツール コミュニケーションモデル ・住民参画としてのツール ・指標や多元的議論
- 41. デザイン思考 • デザイン思考とは • 利用者目線で、仮説を作り、プロトタイプを作り、検証し、 繰り返して改善を重ねながら具体化する創造的なプロセスです。 • 内閣官房情報通信技術総合戦略室からも サービスデザイン実践ガイドブック（β版）が公開されています。 41 共感 理解 問題の再定義 ニーズの発見 アイデア出し プロトタイプ 市場投入 （テスト）
- 43. たとえば、VWの社会実験 • 問い１：とある駅に階段が併設されたエスカレータがあり エスカレータばかりが混雑していました。 みなさんなら、どのように階段を使ってもらうように するでしょうか？ • 問い２：とある公園では、ゴミ箱になかなかゴミを捨ててくれ ない状態でした。さて、みなさんならどんな方法でゴミ箱に ゴミをいれてもらうでしょうか。 • https://sustainablejapan.jp/2014/07/03/funtheory/10978
- 44. インサイトを探すことが必要 • 共感・理解では、その行動を行なっている本質的な 要素を気がつくことが大事です。 • 表面的な課題を解決しても、根っこが残っていると 再び課題として表層化します。 人人人 有名なお店 お店に入るために人が並んでいる 並んでいる時間 を楽しくしよう ×並んでいるとつまらない ○並ばなくても手に入れたい 通販を始めよう そもそも 並ばなくて良い ようにしよう （予約制）
- 45. NPV（Net Present Value : 正味現在価値）法 • では、先ほどの表で施設の運営は4年間と区切り、どちらも予 算を満たしたいる場合は、どのように考えるでしょうか。 • NPV（Net Present Value : 正味現在価値）法 • 未来の費用、効果を現在価値に割りもどして評価する方法。 • 現在の価値に割り戻して「費用＜効果」なら対応する価値がある。 • 計算方法は下記のように行う。rは、その時の利率とする。 n年目までの現在価値に割りもどした費用と効果の合計を比較する。 １年目 2年目 3年目 4年目 ・・・ n年目 費用 費用/（1+r） 費用/（1+r）^2 費用/（1+r）^3 費用/（1+r）^4 ・・・ 費用/（1+r）^n 効果 効果/（1+r） 効果/（1+r）^2 効果/（1+r）^3 効果/（1+r）^4 ・・・ 効果/（1+r）^n 板橋区の事例では、10年間で40億の違いがでた。
- 46. 事前評価 • データアカデミー でも行なっている費用対効果にあたる部分。 • 数ある施策のうち、どれを行うことで価値がもっともでるか 予算とつきあて施策実行前に評価する。 • 課題 • 自治体職員は、効果についての算出が苦手である。 • 指標には、非財務数値と財務数値があるが、非財務数値の設定が苦手 である。また、財務数値についても前例がないものは決めかねる。
- 47. 費用対効果とは • 「費用対効果」は、ある事業やサービスを実施した際の費用と、 効果を対比させた数値である。数値は、効果を費用で割ったも ので表す。 • 費用対効果は、費用の投入をやめると効果が出なくなるもの。 • 投資対効果は、将来の利益を期待し、投資するもの。 • 費用対効果は、単年度でみる場合と、複数年度でみる場合で 数値が変わる。その事業が、何年間で想定されているか、何年 間で費用回収する予定か、対象業務・サービスの確認をする。 • 1年限定の事業は、単年度で回収できる、効果が高い施策を確認する。 • 複数年度の事業は、各年度に発生する費用、各年度に回収する効果を 確認しながら、トータルでどのような結果になるか確認する。
- 48. 毎年の指標を作成する • なぜ、指標を設定するか • 指標は、予定通りの効果が出ているか、費用が増大していないか 定点観測するために設定します。 • 最後にできました、できませんでしたと方向するのではない。 ではなく、いつまでに、どれだけできたかを確認する。 • 指標で設定する項目 No. 設定項目 1 毎年の目標効果額と費用を決める 2 各効果項目、費用項目を、どの単位でカウントするかを決める ・例えば、利用者数1000人/年、クレーム数10件以内などカウントで きる単位と数値を決める 3 目標を下回った場合の、対応方法を決める
- 49. 事後評価 • みなさんが普段されている、事業業務あたりの事業評価シート • 課題 • 指標がいい加減なため、後から行政改革部門などが後付けでロジック ツリーを作るため、本当に効果があるかわからない。 • 事業間の評価がなされないため、本来効果を上げるべき事業、そうで ない事業で比重がつかない。 • 改善のための方法なのだが、ほぼ全ての事業評価シートは効果ありに なっており、改善につながらない。
- 50. 一件評価と枠一括評価 • 一件評価とは、事務業務単位に予算編成し財政が確認し 予算を立てる方法。 • 枠一括評価とは、部門ごとに予算枠を割り当てられて 各部門で予算割り当てをする方法。 • 現場部門が判断する領域を多くすることで、より現場に即した 予算編成、効果を出すこともできる AA BB DDCC EE GGFF HH Xxx部門 Yyy部門 AA BB DDCC EE GGFF HH Xxx部門 Yyy部門 赤はダメ 赤はダメ 橙は減額
- 52. 評価の本質
- 53. 6. 評価の本質 15分 • 本当に必要なことは、この先に投資的な価値があるかと やめるべきことを判断できること。 • 評価は、査定ではない！改善のためのステップである。
- 55. 再び問い • 地方自治法第２条第14項 • 地方公共団体は、その事務を処理するに当つては、 住民の福祉の増進に努めるとともに、最少の経費で 最大の効果を挙げるようにしなければならない。 • おかしな状況になっています。
- 56. ビルド&スクラップを進める • ビルド&スクラップに考え方を変える 高 普通 普通 高 低低 低 高 普通 普通 高 費用は10%減った。 効果は５％上がった。 やる事
- 57. ビルド&スクラップを進める • まずは、この先、効果のあるやるべきことを決める。 • そして、現在の施策の優先度をつける。 • それによって、まずはやるべきもの、そしてスクラップする ものを決めていく。
- 61. 演習
- 62. 演習 30分 • 総合計画の「2-2 生涯学習の充実」をブラッシュアップしま しょう。 1. ロジックモデルに組み直しましょう。 アウトカム 施策 施策 施策 課題 課題 課題 課題 指標は連携しているか どれが効果として 高いか
- 63. 演習 1. 達成目標は足りているか？ 1. 利用者数と、満足度調査だけでいいのか？ 2. 「課題と展望」と施策はつながっているか？ 1. つながっていない場所や、ないものは整合性が取れていない。
- 64. Q&A