【翻訳】TARS:プロダクト指標のゲームチェンジャー(Adrian H. Raudaschl, UX Collective, 2023)

uxdesign.cc

ビジネスゴールとユーザーニーズのバランスをとり、機能が優れているかどうかを判断できるようになります。

プロダクトマネージャーとして、私は常に指標に不健康な執着を持っています。それは、成功や顧客満足を約束するサイレンコールのようなもので、私を引きつけます。

私は、プロダクトの成功と顧客満足の秘密を解き明かすとらえどころのない公式を探し求め、スプレッドシートと統計に数え切れないほどの時間を費やしてきました。しかし、実際には、より複雑な指標やセグメンテーションを追い求め、迷うことが多かったのです。

しかし昨年、リフォージの賢者たちが開発しましたTARS(Target Users, Active Users, Retention, Satisfaction)というフレームワークに救われたのです。TARSは、NPSや収益のような誤解を招く指標の束縛から解き放ち、プロダクトの成功の真髄に焦点を当てる手助けをしてくれました。

TARSは単なる指標の集まりではなく、機能を評価し、「私の機能にとって良い結果とはどのようなものか」という重要な問いに答えることを可能にするフレームワークなのです。

TARSは、複雑なプロダクトマネジメントの世界を、より明確に、より目的

意識を持ってナビゲートするための、画期的なツールです。私は、チームのコラボレーションを促進し、ユーザーに心から喜んでもらえるプロダクトを開発するために、この強力なツールを頼りにしています。

TARSフレームワークを使いこなす:4ステップのガイド

TARSは、ターゲット層、獲得、維持、満足の4つの重要な分野を深く掘り下げ、どの機能がうまく機能し、どの機能がうまく機能していないのかを包括的に把握することができます。

TARSは、絶え間ない革新と破壊の世界におけるプロダクトマネジメントに全体的なアプローチを提供し、収益やNPSの表面的な指標を超えて、機能のパフォーマンスを理解し評価するためのフレームワークを提供するものです。 NPSのようなビジネスレベルの指標の問題点は、プロダクトのパフォーマンスを正確に把握できないことです。

例えば、前四半期に大量のライセンスを販売したプロダクトがあったとしても、ユーザーがそのプロダクトを嫌っている可能性があります。販売チームはシャンパンと紙吹雪で英雄のように祝福されますが、ユーザーは不自由な機能とパスワードのリセットに悩まされ続けることになります。一方、収益目標を達成できないプロダクトがあり、経営陣から「メンテナンス・モード」に移行させると脅され続けている場合もあります。それでも、ユーザーはその機能が好きで好きでたまらないのです。

しかし、機能のパフォーマンスを評価する一貫しましたシステムがなければ、プロダクト全体の指標に頼って意思決定せざるを得ません。NPSや収益などの測定は簡単ですが、機能の適切な評価は困難です。そこでTARSは、プロダクト戦略とビジネスゴールやユーザーニーズの整合性を図るお手伝いをします。

では、その手順を説明します。

1. ターゲットオーディエンス

プロダクトマネージャーとして、誰のために、どのような問題を解決しようとしているのかを私たちは理解しなければなりません。

TARSのフレームワークの最初のステージでは、このことに焦点を当て、まず、「この機能が解決しようとする特定の問題を、全プロダクトのユーザーの何パーセントが持っているか?」と問い、ターゲットオーディエンスを定量化することを推奨しています。例えば、検索結果ページにエクスポートボタンを作りたい場合、ユーザーインタビューから、全ユーザーの約10%がオフラインで様々な作業を行うために検索結果を別のフォーマットで使用する必要があることが分かったとします。この場合、私たちのターゲットは10%のユーザーとなります。

しかし、調査にアクセスできない場合は、既存のプロダクト分析からターゲットオーディエンスを推定することができます。例えば、ある月や週のうちに、同じ問題を解決しようとしている可能性のある既存または類似の機能に関与するユーザーの割合を見ることができます。

重要なのは、アナリティクスは貴重な洞察を与えてくれますが、常に合理的な仮定と可能な限り裏付けとなるユーザー調査を用いるべきであるということです。例えば、検索結果ページにエクスポートボタンの機能があり、全ユーザーの5%がこの機能を使用していることが確認できたとします。しかし、ターゲットオーディエンスが5%というのは完全に正しいわけではありません。もっと多くのユーザーが、このエクスポート機能が解決しようとしている問題を抱えていると考えるべきでしょう。

しかし、私たちの機能が解決しようとする特定の問題を、全ユーザーの何%が持っているのか分からないとしたらどうでしょうか?この記事を読むのをやめて、一番近い反射面まで歩いていき、自分の目を見て、「自分を苦しめるのはやめて!」と唱えてみることをお勧めします。あなたがしようとしていることはギャンブルであることを認識し、私たち全員がそれを認識している限り、それは問題ありません。

どのようなアプローチをとるにせよ、「良いターゲットオーディエンスとはどのようなものか」という問いに常に答えようとすることです。もし、あなたの機能が1%のユーザーにしか使われないとしたら、その結果に満足できますか?

2. 機能の採用

TARSのフレームワークの第二段階は、ターゲットとするユーザーをどれだけ獲得できているかを評価することです。

私たちの機能が解決しようとする問題を持つオーディエンスの割合を特定したら、次のステップは、その問題を解決するために私たちの機能を実際に使用する人数を決定することです。これは、ユーザー・アダプションと呼ばれるもので、つまり、私たちの機能を有意義に利用するユーザーの数です。

ユーザーアダプションを理解することは、我々の期待値とユーザーの期待値を一致させ、ユーザーが我々の期待通りに機能を使用しているかどうかを確認するために非常に重要です。そのためには、一定期間内にその機能を使用しましたユニークユーザー数をモニターすることで、採用率を把握することができます。

エクスポートボタンの例をもう一度見てみると、「何%のユーザーがエクスポートに成功したのか?検索プロダクトであれば、何パーセントのユーザーが検索結果に関与したのか?GPTを使ったテキスト生成ツールであれば、何人のユーザーが500ワード以上を生成し、その結果を保存したか?チャットプラットフォームであれば、何人のユーザーがチャンネル共有機能を使ってチャンネルを共有したか?」これらは、有意義なユーザーエンゲージメントの例です。

採用された行動がどのようなものかを特定したら、あとは採用されたユーザーの数をアクティブなターゲットユーザーの数で割れば、機能の採用が決定します。

では、この結果から何がわかるのでしょうか。ある特定のターゲット層であっても、すべてのユーザーが私たちの機能が解決しようとする問題を同じように気にかけているとは限りません。機能採用を測定することで、我々の期待とユーザーの期待を一致させ、ユーザーが我々の期待通りに機能を使用しているかどうかを確認することができます。機能採用が少ないのか、多いのか、それとも私たちの期待通りのユーザー行動なのか?

機能採用を測定することの優れた点は、良い結果がどのようなものであるかについて、プロダクトチームが一致団結することを促すことです。TARSのようなフレームワークで期待値を設定することで、後々の頭痛の種を減らすことができるのです。

ある機能の採用率は、解決しようとしている問題がどれほど深刻かを示す良い指標となります。もし、採用率が予想より低ければ、その問題は簡単に回避できる可能性があり、採用率は下がると予想されます。一方、採用率が予想以上に高い場合は、ユーザーがプロダクトを体験することを著しく妨げている問題に取り組んでいる可能性があります。

ここで重要なのは、採用率が低いことが必ずしも失敗を意味するわけではなく、採用率が高いことが必ずしも成功を意味するわけでもないということです。例えば、採用率が低いということは、ユーザージャーニーでその機能がうまく表面化しなかったか、ターゲット人口を過大に見積もったということかもしれません。いずれにせよ、できるだけ早く採用パターンを特定し、改善のための戦略を構築することが重要です。

3. 機能の維持

リテンションは、その機能が設計通りの問題を解決しているか、プロダクト・マーケット・フィットを達成しているかを示す重要な指標です。リテンションを評価する際には、「我々の機能を有意義に採用しましたユニークビジターのうち、何人が再びその機能を使うために戻ってきたか?」を自問自答する必要があります。

まず、あなたの機能の自然頻度を理解することが重要です。その機能は、ユーザーが毎日、毎週、毎月、あるいは毎年遭遇する問題を解決するものでしょうか?もし、ユーザーリサーチでこの質問に答えられなくとも、心配はいりません。ライブ機能のリテンション測定は、比較的簡単です。コホート分析を行い、時間の経過とともにグラフ化し、リテンションカーブが平らになっているかどうかを確認します。

最初の採用から対数的に減少するのは、ユーザーが機能を採用した後、その機能の使用に関する習慣を構築するための努力が必要なためです。私たちは、ユーザーの獲得行動、つまり安定したリテンションに基づき、リテンションカーブが平坦化されることを望んでいます。曲線の平坦化が確認できれば、機能の自然頻度使用を確立し、予想される数のユーザーが数週間後、数ヶ月後に同じ機能を使用するかどうかをベンチマークすることができます。

もし、あなたの機能が採用された全ユーザーの50%以上のリテンションがあることが観察されれば、戦略的重要性の高い機能があることをかなり確信できます。25-35%の保持率は中程度の戦略的重要性であり、10-20%の保持率は低い戦略的重要性であると思われます。

リテンションカーブを読む際に注意しなければならないのは、リテンションカーブが決して安定せず、減少を続け、決してプラトーにならないということです。これは、ターゲットユーザーのうち、この機能で持続的な習慣を築くことができる人がいないことを意味し、おそらくこの機能がユーザーにとって望ましい問題を解決していないことを示しています。

4. 満足度

プロダクトマネージャーとして、最善を尽くしているにもかかわらず、実際には事態を悪化させていることがあることに気がつくと、がっかりしてしまうことがあります。 結局のところ、導入と維持の指標が良好であれば、何か正しいことをしていることになるのではないでしょうか?しかし、私が苦労して学んだように、それは必ずしも単純なことではないのです。

銀行の金利が高いから、家族がFacebookメッセンジャーしか使わないから、会社がWorkdayを使わせるから、といった理由で、ユーザーは気が狂いそうになるようなプロダクトを使い続けることになります。これらは、私たちが「隠れた難点」と呼ぶもので、人々が使っているにもかかわらず、フラストレーションのたまる体験をしている機能です。そして、このような「隠れ阻害要因」は、注意深くなければ、私たちの身に跳ね返ってくるのです。

問題は、プロダクトチームがこの「隠れた難点」を見逃し、その結果、ユーザーにフラストレーションを与えてしまうことです。そして、ある日、誰かがわずかに優れたプロダクトを発売すると、すべてのユーザーがそのプロダクトに飛びつき、元のプロダクトチームは頭をかきむしり、何が間違っていたのか不思議に思うのです。

では、どうすればこの落とし穴を避けることができるのでしょうか?それは、CES(Customer Effort Score)と呼ばれる標準的な調査で、満足度を測定することです。ガートナー社の調査によると、プロダクトやサービスの体験が高エフォートであると認識した顧客の96%が不誠実になり、低エフォートであると認識しました顧客はわずか9%であるといいます。

CES調査は、「あるタスクを完了するのがどれほど簡単か、あるいは困難か 」という質問を効果的に変化させる標準的な方法論です。そして、ユーザーは「予想以上に難しかった」から「予想以上に簡単だった」まで、1~5のスケールで回答することができます。3~5点、つまり「予想通り」から「予想よりずっと簡単」であれば、「満足」したユーザー体験と見なされます。

CESが最も効果的であるためには、アンケートの対象は保持するユーザーのみとする必要があります。これにより、独自にリテンションの改善に注力しながら、リテンションに反映されていない隠れた問題がないかどうかを把握することができます。

ただし、アンケートデータはあくまで対象ユーザーのスナップショットであり、どのようなフィードバックも鵜呑みにすることはできません。しかし、定期的に定性的なユーザーフィードバックを収集・要約する「フィードバックの川」を設置することで、プロダクトの勘を養い、情報に基づいた意思決定を行うことができます。

だから、数字だけでなく、人にも目を向けよう。満足度を測ることで、私たちの機能が使われ、愛されていることを確認することができるのです。

隠れた第5のステップ:すべての評価指標をまとめる

最後に、TARSの指標をファネルチャートにまとめます。

このビジュアルは、プロダクト成功へのロードマップのようなもので、どこで成功し、どこで失敗しましたかを正確に示します。数字や専門用語を使って説明するよりも、ずっと効果的です。

TARSのドロップオフ・アイデンティフィケーション。Reforgeに触発されました。イラストは筆者によるものです。

さて、予想されるように、各ステップでユーザーの損失が見られます。しかし、もしあるエリアで特に急な落ち込みが見られたら、それは何か注意が必要な赤信号です。これは宝の地図のようなもので、最も努力が必要な分野をまっすぐに指し示してくれます。 しかし、ファネルチャートの本当の素晴らしさは、診断ツールであるだけでなく、時間の経過とともに進歩を追跡する方法であることです。変更や改良を加えれば、それが数字に与える影響を見ることができ、ファネルのセクションが大きくなっていくのを見るのは、本当に士気が上がります。

TARSを利用した機能戦略

プロダクトマネージャーとして、チームを同じ方向に向かわせるのに苦労することがよくあります。四半期計画を立てるとき、私はエンジニア、デザイナー、データサイエンティスト、そしてプロダクトリーダーたちが、健全な議論をして、私たちが取りたいベットについて意見を交わすことを望んでいます。しかし、「8ヶ月で売上を12%増加させる」というような高い目標を設定し、最善を尽くそうとすることがあまりにも多いのです。このようなアプローチは、長期的な学習よりも短期的なパフォーマンスを優先する、近視眼的な行動につながる可能性があります。

TARSは、このような落とし穴を回避するための優れたツールなのです。

S/Tスコアの計算。Reforgeに触発されました。イラストは筆者によるものです。

TARSは単なる指標の集まりではありません。任意の機能に対して、満足しましたユーザーの%をターゲットユーザーの%で割って、S/Tスコアと呼ばれるものを作成することができます。例えば、ターゲットユーザーが80%の機能に対してTARSを設定し、ターゲットユーザーの50%が採用、つまり全体の40%、そして採用しましたユーザーの70%が保持、つまり全体の28%、そして保持しましたユーザーの90%が満足しましたとすると、この機能のS/Tスコアは25%÷80%で31%になります。

このS/Tだけでは、あまり面白みがありません。しかし、同じ計算を他の重要な機能にも適用して、機能マトリックスの比較表を作ると、面白いことになります。

S/Tスコアに基づく2x2マトリクス。Reforgeに触発されました。イラストは筆者によるものです。

このグラフは、Y軸にS/Tスコア、X軸にプロダクトポートフォリオにおける機能の戦略的重要性をプロットしたものです。戦略的重要度が高いほど、右側にプロットされます。このグラフでは、オーバーパフォーマンス機能、コア機能、プロジェクト機能、負債機能という4つの基準で機能を評価することができます。

つまり、2x2のマトリックスにすべてをプロットし、そこから4つの基準(オーバーパフォーム機能、コア機能、プロジェクト機能、負債機能)のいずれかに照らして機能を評価することができるのです。

このグラフを見ながら、何が重要で、何が重要でないか、「2%のユーザーが使う機能になぜこれほど時間をかけたのか」など、チーム内で活発な議論が交わされました。

しかし、プロダクトマネージャーの視点から見ると、最も関心を持つべき機能領域は負債です。特に負債機能は、より役立つカテゴリーに移行させるために、多くの注意と努力が必要です。このような機能を特定することで、プロダクトの成長に大きく影響する部分に努力を集中させることができるのです。

機能マトリックスの比較表は、TARSがいかに一歩下がってプロダクトを立体的に見ることを強いるかを示す好例です。何が重要で、何に取り組む価値があるのかを認識し、オーナーシップを持って取り組むには、チームの高い成熟度が必要です。しかし、TARSを導入することで、何を優先的に開発すべきか、十分な情報を得た上で決断することができ、プロダクト戦略を勝ち抜くことができるようになりました。

機能指標の暗黒面:過度な依存はいかに害を及ぼすか

インドを植民地支配していた頃、イギリス人はデリーにいる毒蛇の数をとても気にしていました。そこで、イギリス政府はコブラの死骸を持ち込むと賞金を出すことにしました。

当初は、この懸賞金目当てに多くの蛇が殺され、成功しました。

しかし、やがて、その賞金を目当てにコブラを繁殖させようとする輩が現れました。その結果、コブラを飼育していた人たちは、価値のないヘビを放し飼いにしてしまい、さらに問題を大きくしてしまったのです。

この話は面白いのですが、強烈なメッセージが込められています。例えば、私があるプロダクトのリテンションを上げるよう指示しましたとします。その際、エンゲージメントのような他の成功指標は設定しないとします。その場合、ユーザーが最終的に1回クリックすることを期待して、大量のマーケティング・メールを送信することを止めることはできません。

TARSのような、より包括的なアプローチで成功を測定し、誤った行動に報酬を与えることを避ける、バランスのとれたアプローチを活用することで、こうした落とし穴を避けることができるのはありがたいことです。

しかし、たとえ善意であっても、指標は制限されることがあります。目標としての指標は、常に意図しない結果を招く危険性があり、指標が達成しようとするもの、つまりユーザーの価値ある問題を解決するという精神ではなく、文字に従った場合、プロダクトの長期的な成功に悪影響を及ぼすことになるのです。

「測定されたものは管理される 」という言葉を覚えておくことが重要です。ダッシュボードの表示にとらわれず、解決しようとする問題に対して適切な視点を持っているかどうか、常に確認するように努めなければなりません。うまくいったときは「なぜ」と考え、うまくいかなかったときも「なぜ」と考えます。

用心深く、思慮深くあることで、機能指標の暗黒面を回避し、プロダクトのための勝利モデルを構築することができます。

TARSは、意図した目標に潜む落とし穴を回避するための強力なツールなのです。プロダクトマネージャーとして、顧客のインサイトを深く掘り下げ、その心理や動機を理解することほど楽しいことはありません。私たちは、自分の成長を示す壁の刻み目や、スペルテストの成績など、様々な尺度を求める性質があります。しかし、ご存知のように、測定基準のモニタリングと最適化の技術を習得しても、必ずしも長期的なビジネスの成功につながるとは限りません。

統計学に基づいた意思決定ができない世界では、TARSのようなフレームワークが最善の策となります。指標やユーザーからのフィードバックを認識し、定期的に見直さなければ、ユーザーが本当に求めているものを見失い、プロダクトの直感が鈍ってしまう危険性があります。ジムに通うようなものです。その場は楽しくないかもしれませんが、大抵の場合、それだけの価値がある結果が得られるのです。

TARSからいくつかのアイデアを得るにせよ、完全に導入するにせよ、私たちの機能のパフォーマンスにとって何が良いかを考え、合意するだけでも、すでに正しい方向への一歩となることを忘れないでください。