RICEは、最も人気のある優先順位付けのフレームワークの1つです。
表面的には、シンプルに見えます。
しかし、深く掘り下げると、それほど単純ではありません。リーチとエフォートはある程度簡単に計算できますが、信頼性に影響を与えるにはどうすればよいのでしょうか。明確な数式があるわけではありません。
インパクトと信頼性を評価するアプローチによっては、RICEはソリューションの優先順位を決めるのに最も実用的な方法かもしれませんし、非常に危険な方法かもしれません。
今回は、「信頼性」の評価に取り組みたいと思います。私は数週間かけてこのテーマを研究し、自分の優先順位決定ゲームをステップアップさせるためのアプローチを試してみました。
以下は、私が発見したことです。
ほとんどのPMはどのように自信を見積もるのか
信頼度を経験的に推定するのは難しいので、多くのPMはある種の直感に頼っています。
根拠のない直感
おそらく最も危険な見積もり方法です。PMは、自分の信念、過去の経験、そしてしばしば希望的観測に基づいて、イニシアチブに対する自信を評価します。
そこで、「私はそれが素晴らしいアイデアになると確信しています！」 や「それはクールに聞こえるが、私はそれが動作するとは思わない」 といったタイプの評価が行われるのです。
そんなことはしないでください。
根拠のある直感
自信を評価する、より経験的な方法は、コンセプトを支持するデータがどれだけあるかを判断することです。
誰かが、それを裏付けるデータもないのにアイデアを提案したのでしょうか？それなら、信頼度は低いですね。そのアイデアを裏付ける量的・質的データがたくさんあるのか？それなら、おそらく信頼度は高いでしょう。
特に、迅速に行動し、複数のアイデアを評価する必要がある場合は、情報に基づいた直感で信頼性を評価することは、十分なアプローチであることが多いでしょう。
しかし、真の意味でディスカバリーゲームを向上させたいのであれば、より強固なフレームワークが必要です。
仮定に基づく信頼度の見積もり
それぞれのソリューションやアイデアは、一連の前提条件に基づいています。仮定を特定することは、自信をつけるための最初のステップです。
基本的な前提を素早く特定するために、2つの質問を自分に投げかけてみましょう：
- このソリューションを考えるようになったきっかけは何ですか？
- このアイデアを成功させるためには、何が真実でなければならないか？
ほとんどの場合、すべての根本的な前提を特定してリストアップすることはできないでしょう。今のところ見逃している隠れた前提が必ずあるはずです。
でも、それでいいんです。目的は正確であることではありません。信頼度を推定する目的は、分析でチームを圧倒することなく、確かな意思決定のサポートを提供することです。
信頼度を推定する目的は、分析でチームを圧倒することなく、確かな意思決定のサポートを提供することです。
仮定をリストアップしたら、その重要性を評価します。ある仮定が、ソリューションを成功させるためにどれだけ重要か。正確なスコアリングは、あなた次第です。私は通常、以下の数字を使用します：
- 1 = その仮定がソリューションの成功に与える影響は軽微です。
- 3 = その仮定はソリューションの成功にそれなりの影響を与える
- 5 = その前提がソリューションの成功に大きな影響を与えります。
- 8 または 13 = ソリューションを成功させるためには、その前提が必要不可欠です。
核となる仮定をリストアップしたら、その仮定が正しいという確信を0～1のスケールで評価します。ここでは、次のような点数付けをしています：
- 0 = その仮定を裏付けるものは何もないのです。
- 0.25 = 経験または限られた質的データに基づく仮定です。
- 0.5 = 仮定の裏付けとなる経験則がある
- 0.75 = 仮定を支持する強い証拠がある
- 1 = 仮定の裏付けとなる強力で統計的に有意な証拠があります。
解の信頼度は、仮定スコアの合計をその重要度の合計で割ったものです。
6.5を11で割ると59%になります。つまり、ソリューションXが成功する自信は59％です。
相対的な見積もりツールとしての信頼度
59％の自信は、望む結果が得られる確率が59％であることを意味しないのです。
また、100％だからといって、そのアイデアが疑いなく成功するわけでもありません。
自信のスコアを額面通りに受け取ってはいけない理由は2つあります。
- おそらく、あなたがマッピングしていない前提が隠れています。
- 思い込みの重要度と検証のスコアは、どちらも科学的で正確なものではありません。
しかし、信頼度を相対的な比較ツールとして使用することはできます。3つのソリューションの候補がある場合
- 解答Aを40％の信頼性で
- 解Bを70％の信頼性で
- 80％の信頼度で解答C
であれば、Cが成功する確率は80％とは言えないが、Aよりも成功する確率がおよそ2倍高いということができます。
ストーリーポイントと同じように扱います。正確な推定値を出すことが目的ではなく、さまざまなアイデアを比較できるようにするためです。
高い信頼性≠高い優先順位
ソリューションCはソリューションAの2倍確実かもしれませんが、自動的にそれを優先すべきとは限りません。
もし、ソリューションAの方がリーチやインパクトが大きく、労力が少ないとしたらどうでしょう。
このような場合、自信を深めるために、ソリューションAの関連する仮定をテストすることに集中する価値があるかもしれません。
確信が高まれば（いくつかの仮定を検証できました）、ソリューションAが最も魅力的なものになるかもしれません。
もし信頼度が下がれば（中核となる仮定が誤っていることがわかりました）、おそらくそのソリューションを完全に捨てる時が来たのでしょう。
信頼度の低いソリューションをテストすることの問題点
低信頼性ソリューションには、もう一つ問題があります。
1つのソリューションは通常複数の仮定に基づいており、信頼度が低いということはこれらの仮定が検証されていないということなので、ソリューションがうまくいかなかった場合、どの仮定が間違っていたのかどうやって知ることができるでしょうか。
新しいアイデアを試すときは、まず仮定をテストするか、確信のないソリューションの場合は、仮定をある程度分けてテストできるような方法でテストを設計するようにしてください。
そうしないと、どの仮定を見直す必要があるのかがわからないテスト結果になってしまうからです。
ソリューションをテストするのは簡単です。テストから学ぶことは、より難しいのです。
まとめ
プロダクト開発において、自信は非常に重要な要素です。情報に基づいた直感でも十分なことが多いのですが、発見を次のレベルに引き上げたいのであれば、より強固なアプローチが必要です。
アイデアの成功は、私たちが行った仮定の正しさに依存するため、ソリューションの信頼性を基礎となる仮定に対する信頼に基づくことが最も自然な方法です。
仮定を列挙し、その重要性と信頼度を評価して、仮定スコアを得ます。これらの前提の合計スコアを重要度で割ると、ソリューション信頼度が得られます。
ソリューションコンビデンスは科学的な数値ではなく、相対的な比較ツールです。ソリューションを比較し、優先順位をつけるために使用します。
信頼度の低いソリューションをテストする場合は注意が必要です。テストしていない仮定がたくさんあると、どれがうまくいってどれがうまくいかなかったかを特定するのが難しくなるかもしれません。
学びを最大化するために、まず個々の仮定をテストし、次に自信のあるアイデアをテストします。
