Jeff Sauro, PhD March 21, 2011
薄々感じているとは思いますが、それは場合によります。
タスクの適切な完了率を決めるにはコンテクストが重要ですが、他のタスクの完了率を知ることは、目標設定の良い指針となります。
約1200のユーザビリティタスクを分析した結果、タスク完了率の平均は78%でした。
ユーザビリティメトリクスの基本
バイナリタスク完了率は、ユーザビリティメトリクスの中でも最も基本的なものの一つです。明確な成功基準を持つシナリオを定義し、ユーザーにアプリケーション上でそれを試みてもらいます。タスクが正常に完了した場合は1、失敗した場合は0と評価します。
すべてのユーザーをテストした後、これらの1と0の平均値がタスク完了率となります。例えば、10人のユーザーのうち9人がタスクを完了した場合、完了率は0.90または90％となります。良いタスク完了率とは何でしょうか？
コンテキストの問題
タスクの失敗によるコストが高ければ（お金の損失、命の損失）、100％を目指す必要があります。しかし、その影響がそれほど大きくないのであれば、達成率を少し下げてもよいでしょう。一般消費者向けのウェブアプリケーションでは、70％の完了率を目標にしているのをよく見かけます。つまり、テストの結果、少なくとも70％の人が最初の試みでタスクを完了したという証拠があれば、そのタスクはとりあえず十分だと考えられます。
もちろん、サンプルの70％がタスクを完了したからといって、ユーザー全体が完了するとは限りません。母集団の完了率の可能性のある範囲を見るために、完了率の信頼区間を作成する必要があります。例えば、10人中10人のユーザーがタスクを完了した場合、全ユーザーの75%から100%がタスクを完了できるという95%の確信を得ることができます。
信頼区間の下限は70%を超えているので、70%以上のユーザーがタスクを完了できることを少なくとも95%確信できます。このグラフ計算機を使って、信頼区間の下限が目標を超えるための最小サンプルサイズを確認することができます。
では、何を目標にするのか？
コンテキストは重要ですが、ユーザビリティテストで得られた他のデータと比較して、自分のタスク完了率がどの程度のものかを把握することは役に立ちます。私は数年前から、ビジネスソフトウェア、コンシューマーソフトウェア、Webサイトなどのタスク完了率のデータを収集しています。
ラボベースのユーザビリティテスト（90％）とモデレートされていないユーザビリティテスト（10％）の両方から得られた1189のタスクのデータを合計しています。このデータは、10以上の組織の3472人のユーザーによる115のユーザビリティテストから得られたものです。私はこのデータを、好評を得たレポート "How to Conduct a Quantitative Usability Test "で多用しました。
そして、タスク完了率の分布をヒストグラムにしてみました。
上の図のタスク完了率の分布を見ると、100％、90％、50％、0％にいくつかの顕著なスパイクがあるものの、広がりがあることがわかります。また、完了率のほとんどが50%を超えており、正のスキューがあることもわかります。このデータから、50%は平均的な完了率ではないことがすぐにわかります。
完了率が0から100までの各タスクの数をカウントして、タスクの頻度をより簡単に表すために累積分布を作成しました。例えば、完了率が100％のタスクは232本（20％）、完了率が80～100％のタスクは564本（44％）でした。分布のグラフを以下に示します。
78%が平均的な完了率
この分布では、半分のタスクの完了率が78%以上であることがわかります。つまり、78%以上は平均以上ということで、良し悪しの一つの基準となります。タスクのベンチマークに頭を悩ませているのであれば、78%から始めるのが良いでしょう。完了率が上位4分の1（75％）であるためには、92％以上の完了率が必要です。完了率が49％未満の場合は、下位4分の1（25％）になります。
完了率が高くなっている理由はいくつか考えられます。まず、データベースに掲載されているユーザビリティ・テストの多くは、市販のソフトウェアで実施されているため、多くのインタラクション問題が軽減されていると考えられます。第二に、ユーザーは、観察されていることと、その努力に意味があると考えていることから、タスクを完了するために通常よりも努力している可能性が高い。これは、IBMのRich Cordes氏が言うところの「頼まれればできるはず」というバイアスがかかったものです。
タスク完了率のパーセンタイルを推定する
観測されたデータによく適合する（adj-R2 = 99.5%）二次回帰式を用いて累積分布の指数的性質をモデル化することに成功しました。すでに完了率の数値を把握していて、かつそれがどのくらいの割合であるかを知りたい場合は、上のグラフを使って補間するか、下のフォームに完了率を入力して、おおよそのパーセンタイルランクを得ることができます。例えば、タスクの完了率が80%の場合、全タスクの56%よりも優れています。（計算機部分省略）
