最小限の労力でユーザーテストに定量的な側面を追加しましょう。
私は、データビジュアライゼーションについて学んでいるときに、思いがけずKPIについて勉強することになりました。多くのUXデザイナーがそうであるように、私も当初はほとんど何も知りませんでした。私の知識といえば、KPIがKey Performance Indicatorの略で、ビジネスに関係するものだという程度でした。しかし、デザインに対してより科学的な考え方を取り入れ、特に仮説検証を行うようになってからは、指標の重要性をより深く理解するようになりました。その一環として、私のデザイン提案にKPIを用いることで、通常、チームの他のメンバーとのミーティングがより生産的になることを理解しました。
かなり詳細に学んだ後、大きな効果を発揮する使い方をするには、それほど多くのことを知る必要はないことがわかりました。KPIを少し理解し、ユーザーテストに活用するだけで、デザイン提案に強い定量的な要素をもたらすことができるのです。その方法をご紹介します。
KPIと成功の定義に役立つ方法
あるプロジェクトを立ち上げてから6ヶ月後に、そのプロジェクトが成功したかどうかをどのように判断しますか？こう聞かれたら、ステークホルダーやユーザーにインタビューしたり、アンケートを送ったりと、いくつかの調査方法を考えるかもしれません。
しかし、定性的な指標で成功を定義しようとすると、さまざまな問題が発生します。「より良いユーザー体験」は、ステークホルダーによって非常に異なる意味を持つことがありますし、これらの調査結果を過去の結果に対するベンチマークとして使用することは困難です。
しかし、他の多くの分野で使われている、もっとシンプルな解決策があります。それは、「測定基準を見る」ことです。測定基準を特定することは、この種のギャップを埋める大きなステップです。それは、たとえ特定の指標を理解していなくても、ほとんどのビジネス利害関係者が理解できるものだからです。
この種のケースで最もよく使われるツールの1つは、Google Analyticsのようなものでしょう。しかし、このプログラムを開くだけで、何が問題なのかがわかります。
Google Analyticsは、ホーム画面を非常にシンプルで見やすくすることに成功しています。それでも、最も重要な2つの質問に答えることはできません。どの指標を気にしているのか、そして、成功とみなすためにどれくらいの変化が必要なのか、ということです。
これらを理解することで、KPIとは何かを定義することができます。KPIとは、目標やそこに到達するための計画にとって最も重要な業績評価指標のことです。すべての変更にはトレードオフがあるため、関心のあるこれらの指標を確立することが重要です。
ある機能を削除すれば、新規ユーザーのプロセスを合理化することになり、コンバージョン率が上がるかもしれません。しかし、既存ユーザーがその要素がどこに行ったか探すかもしれないので、ページで費やす時間が増えるかもしれません。そのため、どのような指標を最重要視するのかを明確にする必要があります。
もうひとつ、何かを成功とみなすために必要な変化の量は、MDE（Minimum Detectable Effect）と呼ばれています。これは通常、A/Bテストや多変量解析テストのような研究方法について話すときに使われる用語で、あるデザインについて統計的有意性を得るためにどれだけのトラフィックを流用すべきか（あるいはどれだけの時間実験を行わなければならないか）を理解するためのものです。しかし、その考え方は、ある指標が特定の閾値やベンチマークに達したかどうかを判断するのに役立ちます。そして、前もってそれを定義しておくと、さらに役に立ちます。しかし、これらを定義するのは、おそらくあなたの仕事ではありません。
私はUXデザイナーであり、アナリストではない
表面的にはUXデザインとは関係なさそうなことをたくさん話している、と思うかもしれません。
確かに、これらのことは、あなたが扱う必要のある職責の範囲ではありません。Google Analyticsを学んで、日々の業務でこのようなことに取り組むように言われることはおそらくないでしょう。しかし、ユーザーテスト中に取得できるUX特有のKPIはいくつかあり、全く別のプログラムを習得しなくても、あなたのビジネスに多くの価値を提供することができます。もちろん、これらのKPIは、調査結果をステークホルダーが理解しやすい言葉に置き換えるのに役立ちます。
異なる分野の利害関係者と話をする際には、常に何らかの曖昧さがつきまといます。データサイエンティストがp値を翻訳しようが、ビジネスアナリストがコンバージョンファネルを翻訳しようが、ちょっとした知識のギャップがあるのです。UXデザインも同じです。良い「ユーザー体験」や「メンタルモデル」とは、ステークホルダーが理解できる言葉なのでしょうか。
つまり、指標に基づいて物事を定義することで、この種のギャップを埋めることができます。具体的な指標を理解していなくても、ほとんどのビジネス・ステークホルダーが理解できるものだからです。
具体的なユーザーテストのフィードバック（「ユーザーはXを好まない」）と指標（「このワークフローではユーザーのエラー率が増加する」）を結びつけることができるのは、強力な手段です。
これは、定性的な議論を超えて、個々の設計上の意思決定を行うための、より具体的な「証拠」を提供することができます。それでも、UXが製品に与える効果を示すために、UXが指し示すべきベンチマークを確立するのにも役立ちます。
では、UXが学ぶべきKPIとは、どのようなもので、どのように語ればいいのでしょうか。
学ぶべき最も重要なUXのKPI
UXのKPIは、通常2つの具体的なカテゴリーに分けられます。「行動的（Behavioral）」と「態度的（Attitudinal）」です。これらのカテゴリーは研究者にとって多少馴染みがあるかもしれませんが、ほぼその内訳は、人々が行うことと人々が言うことを比較することです。
行動的KPIに関しては、これらの多くは、ユーザーテストで通常見られるようなことの延長線上にあります。このような場合、問題は、どのようにそれらを捕らえることができるかを考えることです。
行動的KPI
タスクの成功率
"ユーザビリティ・テストの一環として設計したタスクを、何人が完了することができたか？"
タスクが複数回実行される場合、ユーザーが1回目にタスクを実行したときと、2回目以降のタスクの差を把握することもできます。
タスクの平均時間
これは、ユーザーが特定のタスクを完了するのにかかった時間を計算し、すべての参加者の間で平均化する、もう1つの簡単な測定方法です。ほとんどのオンラインツールには、これを測定する機能がありますが、オフラインテストでは、工夫が必要かもしれません。
検索とナビゲーションの比較
これはケースバイケースで検討する必要があります。しかし、多くの場合、ユーザーが検索する代わりにナビゲーションメニューやサイドバーを使用すればするほど、ユーザーエクスペリエンスは向上します。このように、タスクを完了するために検索機能を利用したユーザーと、タスクを完了するためにナビゲーション機能を利用したユーザーを記録し、タスクの総数で割ることになります。
このように、どのユーザーがタスクを完了するために検索機能を利用したか、どのユーザーがタスクを完了するためにナビゲーション機能を利用したかを記録し、それをタスクの総数で割ることが望まれます。 例えば、10人のユーザーが特定のページを探すよう依頼され、そのうち3人が検索バーを使い、7人がナビゲーションを使ったとしたら、ナビゲーション率70％対検索率30％と言うことになります。
ユーザーエラー率
この指標は、ユーザーが何回間違った入力をしたかに関係します。これは、2つの異なる方法で計算できます。エラーの可能性が1つしかない場合（または複数あっても1つしか気にしない場合）、エラー発生率を計算します。これは、エラーの数を全ユーザーで割った値です。
例えば、20人のユーザーのうち2人がミスをした場合、2/20 = 1/10 = 10%のエラー発生率になります。
複数のミスが考えられる場合は、ミスの総数をミスの総数で割ったエラー発生率を計算します。
例えば、起こりうるエラーが5つあり、テスト中に6人のユーザーがそれぞれ2つのエラーを起こしたとすると、(6×2 エラー総数) / (6×5 潜在エラー数) = 12/30 = 40% のエラー発生率となります。
ソフトウェアでこのデータを取得できる場合もありますが、これらのエラーが適切にカウントされるよう、メモ係に特別に注意するよう指示する必要があります。
離脱率/コンバージョン率
通常、Eコマースサイトで使用され、多くの人が特定のアクションを完了させるか、または完了させることができません。例えば、ショッピングカートに入れたものの、チェックアウトせずに放置された件数や、フォームに記入された件数などが該当します。
ページビュー
特定のボタン、アイテム、アクションに移動した回数やクリックされた回数です。これは追跡するのが面倒ですが、自動的に追跡できるソフトウェアもあります。これが有用かどうかは、リサーチクエスチョンによります。
問題とフラストレーション
これは、特定された固有の問題の数および/または特定の問題に遭遇したユーザーの数です。これは、おそらく問題の種類と量のリストで、あなたが取得しているものです。
しかし、これは、統計的な有意性を得るために、参加者のより大きなサンプルサイズで使用されることがほとんどです：このメトリックから多くを得るためには、5人以上のユーザーを追跡する必要があるでしょう。
態度的KPI
一方、態度的KPIは、人々の発言に基づいており、多くの場合、ユーザビリティ・テストに調査や文書を追加する必要があります。
ただし、テスト期間が長くなりすぎないように注意が必要で、どれが最も適切かを検討する必要があります。
システムユーザビリティスケール（SUS）
ユーザビリティを測る簡単な方法としてよく知られていますが、これは10問の5段階評価で、特定のユーザビリティの質問に対してユーザーがどのように感じるかを本質的に数値化したものです。参加者は、ユーザビリティの特定の側面について、「強く反対する」から「強く賛成する」の範囲で回答することができます。
注意すべき点は、平均スコア（つまり、すべてを「Neutral」にチェック）が68点であることです。あなたのウェブサイトのスコアがこれより低い場合、これは指摘すべき本質的な事柄かもしれません。
ネットプロモータースコア（NPS）
最も一般的な1問1答式の調査です。1～10のスケールで、あなたが友人や同僚に（ブランド、ウェブサイト、サービスなど）を薦める可能性はどのくらいですか？
回答は3つのカテゴリーに分類されます。
- 反対者：1〜6
- 中立者： 7
- 擁護者：8〜10
そこから、次のような方程式を経ていきます。
(賛成派の数-反対派の数）÷（回答者数）×100
例えば、10人の参加者にこの質問をし、4人が8点、2人が5点をつけた場合、ネットプロモータースコアは、
（4-2）/10 * 100 = 20%
となります。
顧客満足度（CSAT）
これも1問5点満点のアンケートで、次のように尋ねます。"（ウェブサイト、製品、サービスなど）にどの程度満足していますか？"
顧客は「非常に不満」から「非常に満足」までの評価をすることができ、満足した顧客（つまり、満足または非常に満足と回答した顧客）は、参加者全体と比較されます。
例えば、10人の顧客にこの質問をし、5人が満足または非常に満足と答えた場合、CSATは5/10または50%となります。
しかし、これらのKPIは、ステークホルダーが気にする指標に対応するために不可欠ですが、それがすべてではありません：それは、UXの推奨事項をより重視するための方程式のもう半分です。
方程式のもう半分
KPIだけでは、問題を特定することはできませんし、何かが問題である理由を説明することもできません。何かが間違っている可能性があり、対処する必要があるという指標に過ぎません。
しかし、ユーザーにとって何が問題なのか、そしてUXがどのように手助けできるのかを示す強力な指標となるのです。
問題があることを示す定量的な指標を示すことができ、さらにユーザーインタビューなどの定性的な情報からその理由を説明することで、直面する可能性のある重大な問題を明確にすることができるのです。
例えば、ステークホルダーに対して次のように説明したとします。
「データによると、平均タスク処理時間は約10分で、業界の平均的なベンチマークよりも高くなっています。UXに基づくと、これらがその理由です。」
たとえステークホルダーがタスク時間が重要である理由を知らないとしても、彼らが知らなかったかもしれない事柄をKPIに結びつけるわかりやすい方法です。さらに重要なのは、これがユーザー・エクスペリエンスに起因する可能性があることを強調することで、ステークホルダーがUXの効果を「より良いユーザー・エクスペリエンス」以上に理解することができるようになる点です。
KPIについて少し学び、それを把握するために時間を費やすだけで、プレゼンテーションに強固で定量的な側面を加えることができるのです。
