やってみよう！ユーザーテスト

Copyright © 2020 PopInSight,Inc. All Rights Reserved.
やってみよう！ユーザーテスト
株式会社ポップインサイト
白石啓（@ke_shira）
Code4Lib JAPANカンファレンス 2020（2020-06-21）
1

Copyright © 2020 PopInSight,Inc. All Rights Reserved. 2
本日伝えたいこと
ユーザーテストは、
ユーザーを深く理解し、
サービスの課題を把握するための
パワフルなツールです。
まずは一人ユーザーを捕まえて
やってみよう！

本日の内容
1. 自己紹介・会社紹介
2. ユーザーテストとは
3. リモートユーザーテストを実施する流れ
3

自己紹介
白石啓 Kei SHIRAISHI
株式会社ポップインサイト
UXリサーチャー・マネージャー
• NDL（2006年～2013年3月／2015年4月～2018年4月）
➢ 主にメタデータの人。DC-NDL、NDLサーチ、Web NDL Authoritiesなど
➢ 東日本大震災アーカイブ（ひなぎく）は企画～リリースまで担当
➢ その他、電子リソース関係、ウェブアクセシビリティ関係なども
• NII（2013年4月～2015年3月）
➢ CiNiiの中の人。CiNiiのレスポンシブウェブデザイン対応、JSON-LD APIの設
計、Dissertations開発など
• 『情報の科学と技術』編集委員（長）（2009年5月～2014年9月）
• ポップインサイト（2018年5月～現在）
➢ UXリサーチャーとして不動産、飲食、教育、学術情報流通などさまざまな業
界のUXリサーチに携わる
➢ 2019年12月からマネージャーとなり、リサーチャーの育成や業務改善など
も担当
• おまけ：社員インタビュー記事
4

会社紹介（1/2）
ユーザ視点を間近にすることで
“コミュニケーションバグ”をなくし
価値が正しく伝わる社会を実現する
代表取締役CEO 久川竜馬
・早稲田大学卒
・UXリサーチ運用責任者として
年間100件超の案件運用に携わる。
2
ミッション
1
企業概要
株式会社ポップインサイト・設立：2013年1月
・従業員数（2019年9月時点）：50名
・本社：神奈川県横浜市青葉区荏田西1-12-5-101
3
事業＆
ポジション
外部環境
デジタル化による
顧客のビッグデータ
マーケティングの基礎データが、リサーチ会社からク
ライアント企業に主権移動
VUCA化※による
デザインリサーチの重視
仮説検証よりもインサイト発見・課題発見が重要に
リサーチツールのセルフ化
ミルトークやfastaskなど、低価格で大量データを使え
るサービスが出現
当社の方向性
デザインリサーチ（≒UXリサーチ)
を継続的＆スピーディに実施できる
体制・環境の構築を支援!!
アジャイルUXリサーチ体制構築
(UXリサーチャ･オンデマンド)
デザインファ
ームなど
リサーチ会社
など
当社
ハウスエージ
ェンシーなど
デザインリサーチ
（仮説探索、定性寄り）
単発
プロジェクト
継続
体制構築
マーケティングリサーチ
（仮説検証、定量寄り）
当社のメインサービス
UXリサーチャとリサーチツールを月額固定
でセット提供。貴社チームの一員としてリ
サーチ体制を構築。
5

会社紹介（2/2）
出典：News Up ひとりぼっちのテレワーク孤独感を解決するヒントは? | NHKニュース
https://www3.nhk.or.jp/news/html/20200413/k10012385081000.html
フルリモートワークの会社です
リモートワークスタイル – 株式会社ポップインサイト
https://popinsight.jp/remotework/

本日の内容
7

ユーザーテストとは
• ユーザーに実際にサイト･アプリの利用してもらい、その様子の観察やヒアリングを通じ、ユーザー心理や対象サ
イト･アプリの課題･機会を見つける手法（≒ユーザビリティテスト）。
• 被験者に対して、特定の状況とタスクを設定し、そのタスクを実施する行動を観察する。必要に応じて声かけや
質問を行うことで、思考発話（考えていることをひとりごとで呟く）を促す。
• タスクの終了後、行動した内容について質問を投げかけ、行動した理由や心理を深掘りする（回顧法）。
8

ユーザーテストからわかること
ユーザ心理
ユーザ心理･視点から
導出される
サイト課題
• 「なぜ悪いか」の仮説が立つ
• 細部まで定性的な良し悪しが分かる
9

アクセス解析・アンケートとの比較
10
アクセス解析ユーザーテスト
• ユーザーの行動を量的に把
握できる（ボリューム感が
わかる）
• 課題となっているページが
把握できる
• セグメント別の傾向を把握
できる
メリット
デメリット
• ユーザーがなぜその行動を
したかの背景や理由を把握
できる
• 課題となっている箇所がな
ぜ課題なのかがわかり、次
の打ち手につながる
• 競合と比較しての良し悪し
を把握できる
• （副次的に）チームに一体
感が生まれる
アンケート
• ユーザーの行動を量的に把
握できる（ボリューム感が
わかる）
• 表層的なニーズを把握でき
る
• 自由回答質問により、定性
的な情報もある程度は把握
できる
• ユーザーがその行動をした
背景や理由がわからない
• 現状しかわからないため、
次の打ち手を考えづらい
• 自組織のデータしか得られ
ない（競合や似たサイトと
比較しての良し悪しを把握
できない）
• 表層的なニーズしか把握で
きない（ユーザーの潜在的
なニーズを把握できない）
• ユーザーの行動を把握しづ
らい
• 量的に傾向を把握すること
が難しい
• ユーザーテストは、アクセス解析やアンケートのデメリットをカバーできるため、組み合わせることでよりユー
ザー理解が深まり、サービスの改善につなげることが可能

ユーザーテストの特徴
• 総括的評価ではなく形成的評価の一手法（ユーザビリティやUXを統計的に測定・分析することが目的ではなく、
具体的にどこに課題があるのか、なぜ課題が発生したのかを明らかにする目的の評価手法）
• 海外の調査結果から、1調査3～5人が最適と言われている。
n人のユーザ調査による、問題発見率は、次の式
で求められる。（Jakob Nielsen・Tom
Landauer ）
ここでLはひとりのユーザをテストして発見でき
るユーザビリティ問題が全体に占める割合を示し
ている。プロジェクト調査の結果、典型的なLの
値は平均して31％となることが分かっている。
1-(1-L)n
3人の調査で問題点の約65％、
5人の調査で80％以上を発見可能
（※全く異なるユーザセグメントを狙う場合、それぞれ3～5人程度の実施を推奨）
ユーザ調査による問題点の発見率
*：ユーザビリティテストによる問題発見率
(出展：http://www.usability.gr.jp/alertbox/20000319.html)
11

リモートユーザーテストとは
• Zoomなどのビデオ会議ソフトウェアを利用し、モデレーターが被験者へ調査タスクを指示し、被験者が操作す
る様子を画面共有機能を使って観察する形式で進める。
• モデレータは、被験者に対し必要に応じて声かけや質問を行うことで、思考発話（考えていることをひとりごと
で呟く）を促す。
• 操作と発話の模様は、Zoomのレコーディング機能を使って録画し分析する。
【モデレーター側】画面共有機能および録画機能により、
画面の動きや発言を確認・録画
被験者の調査の様子（例）
【被験者側】画面共有機能により、
ブラウザやスマホ画面を共有
12

リモートと対面のユーザーテストの違い
対面リモート
• 行動観察から得られる情報量
が多い（視線、ボディランゲ
ージ、表情など）
• 介入して質問するタイミング
を図りやすい
• 行動観察から得られる情報量
が少ない
- 回顧法（振り返り質問）を充
実させることでカバー
• 介入して質問するタイミング
がやや図りづらい
• 機器操作の習熟が必要
メリット
デメリット
• コストがかかる（ラボのレン
タル料金、被験者への謝礼な
ど）
• 日程調整に時間がかかる
• 短期間で調査を実施できる
• 場所を問わず被験者を選べる
• コストが安くすむ
• 日程調整の融通がききやすい
• どの画面のどの部分を見てい
るか、操作しているか、細部
まで確認しやすい

ユーザーテストの事例（1/2）
14
出典：ユーザビリティテストでユーザーの「行動」から課題を探る（調査の背景・観点と浮かび上
がった5個の重要課題）
https://biosciencedbc.jp/blog/20191206-01.html
転職サイトの事例生命科学データベースの事例 JST-NBDC様
「Integbioデータベースカタログ」）

ユーザーテストの事例（2/2）
15
出典：CiNii CiNiiの中の人から
https://www.nii.ac.jp/userimg/openhouse/Pt1_01_Oomukaii.pdf
メルペイ CiNii
• 「毎週4名のお客さまに対してコンセプト評価やユ
ーザビリティテストなどのUXリサーチを行ってい
ます。」
出典：メルペイが実践する「アジャイルUXリサーチ」とは UX MILK
https://uxmilk.jp/86816
• 2009年のリニューアル時、ユーザビリティテスト結
果に基づきUI設計。その後の利用者増・サービスの
発展につながる
• 当時設計したUIは、現在もほぼ変わっていない

本日の内容
16

テストの目的と「明らかにしたいこと」を明確にする
• 目的を明確にする
➢ 貸出数の増加？サイトリニューアルに向けての課題の洗い出し？
➢ 新規ユーザーを増やしたい？ヘビーユーザーの利用行動を知りたい？など
• 「明らかにしたいこと」を明確にする
➢ 検索機能の課題を把握したいのか？／書誌詳細画面で不足している情報がないかを確認
したいのか？／資料の貸出申し込みフォームの操作性について確認したいのか？など
• 目的と「明らかにしたいこと」をふまえ、被験者選びとタスク設計を進める
17
出典：ユーザビリティテストでユーザーの「行動」から課題を探る（調査の背景・観点と浮かび上がった5個の重要課題）
https://biosciencedbc.jp/blog/20191206-01.html
生命科学データベースの事例 JST-NBDC様「Integbioデータベースカタログ」での例：
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する

被験者を見つける・選ぶときのポイント
• 気軽に声をかけられる範囲で見つける
➢ 知り合いや友人／声をかけやすい学生や先生／就職して間もない同僚など
➢ どうしても難しい場合は、リサーチ会社のパネルの利用を検討
• ターゲットユーザーにピンポイントの人でなくても大丈夫
➢ 近い方が望ましいが、まったく畑違いでなければそれなりにサイトの課題は出る
➢ 大学図書館の例：大学生が捕まらないなら⇒大学卒業後3年以内の人など
➢ 公共図書館の例：市民が捕まらないなら⇒その市町村に過去住んでいて、市立図書館を過去に利用し
たことがある人など
➢ 「図書館にまったく興味がない」など、利用する可能性が限りなく低い人は避ける
• 操作性やわかりやすさについて確認したい場合は、なるべくライトユーザーにやって
もらう
➢ ヘビーユーザーは操作方法を学習してしまっているため、ライトユーザーがつまづく箇所が把握で
きない恐れ
• ヘビーユーザーにやってもらうと良いケース
➢ 課題の優先度をつけやすくなる（ヘビーユーザーですらつまづく課題＝直す優先度が高い）
➢ ヘビーユーザーが好意的に捉えている点が、ライトユーザーを引き込む訴求ポイントとして活用で
きる可能性あり（例：ヘビーユーザーが良いと感じている点を案内チラシに盛り込む、など）
18
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する

タスク設計のポイント
• 所要時間は上限60分が目安
➢ それ以上長くなると、被験者の回答精度が下がる
恐れ
• 主要なタスクだけテストする
➢ サイトやサービスの目的からタスクを絞り込む
➢ 特に確認したい機能や手順の観点から絞り込む
• 実際の場面に近い状況を設定する
×文献を探してください。
○あなたは、卒業論文を書くため、参考文献をネット
で調べています。ネットで調べていたら●●というサ
イトを見つけたので、見てみることにしたとします。
• スタートとゴールを明確にする
➢ スタートする場所によって、観察できる行動が
異なる
➢ ゴールは「ユーザー視点から、そのサイトやサ
ービスで達成したい目的」を設定する
19
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する
「Integbioデータベースカタログ」でのタスクの例（抜粋）

タスクの構成と流れ
20
事前
ヒアリング
• 被験者のバック
グラウンドを確
認
• タスクにスムー
ズにつなげるた
めに、簡単にい
くつか質問する
タスク1 タスク2 タスク3
事後
ヒアリング
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する
• タスクのブロックは、最大四つ程度までが目安
• 優先度の高いタスクほどテストの前半で確認する
• タスクのブロックは、状況設定→行動観察→振り返り質問で構成
される
➢ 状況設定：実際の場面に近い状況を設定する
➢ 行動観察：スタートとゴールを明示し、行動してもらう
➢ 振り返り質問：行動を終えた直後に、行動を振り返って質問に答えて
もらう。聞きたいポイントについて4択あるいは5択で答えてもらっ
たうえで、その理由を尋ねると良い
• 1タスクブロックにつき1タスクが原則
➢ 競合サイトの閲覧と、自組織のサイトの閲覧は別タスク
➢ サイトの自由閲覧と、サイトの申し込みフォーム入力は別タスク
状況
設定
行動
観察
振り返り
質問
状況
設定
行動
観察
振り返り
質問
状況
設定
行動
観察
振り返り
質問
• ユーザーテスト
全体を振り返っ
て、サイトやサ
ービス全体の印
象や、そのタス
クを実行する際
に期待する点や
重視する点を確
認
• 競合と比較した
場合は、どちら
が良かったか、
それはなぜかを
質問して確認

環境面の事前準備が大事
• 被験者に、事前準備についてメールで案内
➢ ZoomのインストールURL、当日のURL
- 特にiPhoneは、画面収録の設定とマイク入力の設定が必要なので、画面キャプチャ付きで設定手順を
案内
➢ 個人情報の映り込みの防止
- ホーム画面上のファイルやフォルダの移動、ブラウザはシークレットモード、メール等の通知オフ
➢ その他、実施環境に関する注意事項
- 落ち着いて話ができる環境、電池残量、充電についてなど
• 音が鳴るものは消しておく（スマホ、メールやSlackの通知等…）
• 開始前に被験者と一緒に動作確認
➢ 画面共有ができるか（※特にiPhone）、声が聞こえるか
• ユーザーテストの目的や流れ、録画許可など被験者に事前説明
➢ 普段の様子を知りたいため、一人で操作しているものとして実施するよう依頼
• DebutやLoomなどの画面録画ツールで必ずバックアップ録画
• 思考発話はデモして見せる
➢ 対象サイトに直接関係のないサイトを例に実演（バイアスを防ぐため）
21
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する

リモート環境でインサイトを得る工夫
• 事前説明時はカメラオン、ユーザーテストに入ったらカメラオフ
➢ 顔を見せて話をすることで、ラポールをなるべく構築
➢ ただし、実査のときは一人で操作している状況に近づけるため、カメラオフ
• 環境トラブルが起きても慌てない
➢ どうしても画面共有できなければ、日時を改める
➢ 調査デバイスを切り替える／モデレータ側の画面を共有するなどの代替手段も
• ユーザーテストで必要な情報は、Zoomのチャット機能で都度送付
➢ 見てほしいページのURL、フォーム入力時のダミー個人情報など
➢ スマホの場合、チャットの開き方がわかりにくいので、操作手順を案内できるよう準備
• 行動観察時は音声をミュートにする
➢ テキストエディタに気づきをメモする際の、キーボード音がバイアスになる恐れ
• 「どのページの」「どの部分のこと」を言っているかを尋ねる
➢ 特にスマホでは、指の動きがわからないため
• 終了後に、事後アンケートの確約を得ておく
➢ 聞き漏らしたことなどがあれば、あとでメールで確認できるようにしておく
22
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する

動画から行動と発話を洗い出し、KJ法で発見点を抽出
23
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する
行動・発話の洗い出し
• 動画を見ながら、特徴的な発言･
行動や、問題がある点をメモ（
すべてをメモる必要はない）
• 「気づき」ではなく、実際に観
察した「事実」を書き出す
• 「ユーザ視点」で記述する
• ツールはやりやすいもので（テ
キストエディタ、スプレッドシ
ート、Miroなど）
発見点のまとめ
• メモの内容を振り返りながら、
「どんな発見点があったか」「
その根拠は何か」を整理
• 似たメモをまとめ、なるべく理
由と共に記載（例：～のため、
●●）
• 「要望」を鵜呑みにしない
• 関係者で集まって、動画を見な
がらワークショップ的にやるの
もおすすめ
発見点分類
例：Excelファイル例：テキストファイル例：テキストファイル
• 発見点に対して「その発見点の
種類（対象サイト、対象ページ
、ポジ/ネガなど）」に分類

発見点を通じてわかったサイト課題に優先順をつける
24
1
調査企画
2
被験者を
選ぶ
4
実査
5
分析
3
タスクを
設計する
• 「ユーザビリティの3要素」（ISO9241-
11:1998）で重みづけ
➢ 有効さ（効果）：ユーザーが、指定され
た目標を達成するうえでの正確さと完全
さ→そもそもタスクが達成できない⇒重
要度高
➢ 効率：ユーザーが、目標を達成する際に
正確さと完全さに費やした資源→タスク
は達成できるが時間や手間がかかる⇒重
要度中
➢ 満足度：不快さのないこと、および製品
仕様に対しての肯定的な態度→問題なく
タスクは達成できるが、不満な点がある
⇒重要度低
• 満足度に関わるものでも、離脱につながる場
合は有効さ（効果）の課題と判断
• 同じ問題が観察されたユーザーの人数も重要
度判断の目安になる
➢ 5人中1人で観察されたものより、5人中
4人で観察されたものは改善の優先度が
高い

まとめ
• ユーザーテストとは、ユーザーに実際にサイト･アプリの利用してもらい、その様子の
観察やヒアリングを通じ、ユーザ心理や対象サイト･アプリの課題･機会を見つける手
法
• 企画段階で、ユーザーテストの「目的」と「明らかにしたいこと」を明確にする
• 被験者はターゲットユーザーにピンポイントの人でなくても大丈夫（そのサービスを
使う可能性が高い人がベターだが、まずは気軽に声をかけられるところから）
• タスクは、主要なタスクを選択し、ユーザー視点の目的からスタートとゴールを明確
し、実際の場面に近い状況を設定する
• 実査では、なるべく口を挟まずにユーザーの行動を観察する。環境面の事前準備を念
入りに
• 分析は、ユーザーの行動や発話をリストアップしたうえで、有効さ（効果）・効率・
満足度に分類。関係者で動画を一緒に見てディスカッションするのも有効
まずは一人ユーザーを捕まえてきて
ユーザーテストをやってみよう！

参考資料
アジャイル・ユーザビリティ : ユーザエクスペリエンスのためのDIYテスティング
樽本徹也著
オーム社, 2012.2
ISBN: 9784274211607
https://ci.nii.ac.jp/ncid/BB08823550
UXデザインの教科書
安藤昌也著
丸善出版, 2016.5
ISBN: 9784621300374
超明快Webユーザビリティ : ユーザーに「考えさせない」デザインの法則
スティーブ・クルーグ著 ; 福田篤人訳
ビー・エヌ・エヌ新社, 2016.6
ISBN: 9784802510318

ご不安な場合、
もちろんお手伝いもできますので
お気軽にご相談ください！
https://popinsight.jp/inquiry.php

やってみよう！ユーザーテスト

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a やってみよう！ユーザーテスト

Semelhante a やってみよう！ユーザーテスト (20)

やってみよう！ユーザーテスト