【翻訳】「キャンベルの法則」とNPS不正（Jeff Sauro, PhD • Jim Lewis, PhD, Measuring U, 2021）

より良い意思決定を行うためには、データが必要です。それは、もはや定説となっています。しかし、データを利用する過程で悪い結果につながることはないのでしょうか？

仮定の質問のように思えますが、追跡すると望ましくない結果につながる可能性のあるいくつかの主要な指標を見つけるのに時間はかかりません。

追跡が自己目的化すると不正がおこる指標の例

定時出発

かつて、航空会社の定時出発は、航空会社の迅速性を測る重要な尺度でした。おそらくあなたは、ゲートから後退した後、駐機場に1時間座っている飛行機に乗ったことがあるでしょう。もちろん、目的地には遅れますが、その飛行機は定刻にゲートを離れたので、「定刻通り」とみなされたのです。

定時到着

定時出発に問題があるなら、定時到着を追跡しましょう。それが本当に重要なことでしょう？しかし、興味深いことが起こりました。同じ都市間の同じフライトが、技術の進歩にもかかわらず、数十年前よりも時間がかかるようになったのです。何が起こっているのか？航空会社は定時到着を向上させるために飛行時間を水増ししていることが判明したのです。

犯罪率

長い間減少していた犯罪が、米国で増加しています。警察や自治体には犯罪を減らすよう大きな圧力がかかり、その結果、実際の犯罪は減らないが、犯罪の報告が少なくなることがあります。

テストの点数

ハイステークス・テスト（教師の給料と成績が連動する制度）により、一部の教育者は大規模な学区で生徒のテストの点数を組織的に変更するようになりました。

高校の卒業率

ハイステークス・テストについて調べる必要はないでしょう。高校卒業率など一見良さそうな教育改革も誤魔化されることがあります。

四半期ごとの収益

企業経営者は結果を出さなければならないという大きなプレッシャーにさらされています。株主は、四半期ごとの業績予想よりも、社内でのちぐはぐな業績指標を気にするものであり、また、そのような指標は換金性が低いと考えられています。しかし、四半期利益でさえも操作される可能性があり、実際に操作されています。

ネット・プロモーター・スコア（Net Promoter Score）

ビジネス・パフォーマンスの重要な指標としてますます使用されるようになっていますが、他の例と同様に、操作の対象になっています。

結果を出さなければならないという圧力があれば、その結果を決定する指標を操作する圧力もあるのです。これらはキャンベルの法則の例です。

キャンベルの法則

ドナルド・キャンベルは、実験計画や準実験計画に関する著書で知られる、影響力のある心理学者です。もしあなたが「テスト対策」という言葉を聞いたことがあるなら、キャンベルの法則をご存知と言っても差し支えありません。より正式には、「どんな定量的な社会指標でも、社会的な意思決定に利用されればされるほど、腐敗の圧力にさらされ、監視の対象となる社会プロセスを歪め、腐敗させる傾向が強くなる」*1というものです。これは、経済学者チャールズ・グッドハートの有名な観察："測定そのものが目的になると、良い測定でなはくなる"に似ています。

キャンベルの法則は、SATのようなハイステークステストが教育政策に大きな役割を果たすようになった時代に書かれたものです。しかし、キャンベルの法則は、ネットプロモータースコア、顧客満足度、四半期収益、その他先に挙げた例を含む、あらゆるハイステークスメジャーにも適用されます。

説明責任を果たすことなく給与や昇進がNPSと結びつけば、人々は必然的にその針を動かす方法に注目することになります。その結果、ロイヤリティの指標の1つである口コミが改善されるのであれば、それは良いことです。しかし、その動きが堕落し、根本的な顧客感情から切り離されてしまうと、悪い結果を招くことになります。

キャンベルの法則の帰結として、サウロとルイスの補題があります。管理不行き届きは、測定ミスを招く。というものです。適切なチェックが行われないと、人々は自分たちの利益のために測定を操作する方法を見つけるでしょう。このような操作には、データを収集する時期の変更、調査対象者と対象外の者の決定、回答者からの好意的な回答の推奨などが含まれます。

例えば、ある大手銀行の従業員は、顧客調査で低いNPSの獲得を防ぐために、電子メールアドレスを削除してしまったというのです。

また、それほど悪質ではない汚職も、測定値を歪めてしまうことがあります。例えば、私（ジェフ）は最近、車の修理をした後、ディーラーからメールを受け取りました。カスタマーサービス担当者は、J.D. Powerの満足度調査（NPSではありませんが、同じように不正の可能性があります）に参加するようにと私に言いました。また、太字で下線を引いたテキストで、最高のスコアが必要であることを知らせてきたのです。

*「問題外」もしくは「10点」は、調査対象となるすべてのエリアにおけるディーラーとしての参加権の喪失に繋がります。*Image by Jeff Sauro, PhD • Jim Lewis, PhD

しかし、このことが給与やボーナスに影響したり、ディーラーでの継続雇用に影響する可能性があることを考えると、10点以下の回答をするのは確かに嫌な感じがします。

キャンベルの法則をどう考えるか？

結果を伴う定量的な測定がある限り、キャンベルの法則は適用されます。しかし、それに対してどうすればよいのでしょうか。ネットプロモータースコアやその他の影響や腐敗の影響を受けやすい会社の指標に対して、いくつかの可能な対応策を探してみました。

測定をやめる

NPSやその他の指標を捨てると言う人もいます。また、顧客の推奨意向を測定するのをやめる。

測定方法を変える

NPSから顧客満足度に変更することを検討するのです。しかし、それは、高得点試験のSATからACTに切り替えるようなものです。私の販売店からのメールは、同じ問題が他の測定に持ち越されるだけで、そのアプローチがいかに無益であるかを示しています。

測定基準を無視する

測定基準を無視すればよいと言う人もいます。しかし、利害関係の強い指標を測定することには、たいてい正当な理由があるものです。航空会社の迅速性、卒業率、テストの点数、犯罪統計などは、重要なものを測定しましょうとする測定基準の例です。NPS、満足度、顧客努力、その他の顧客指標は、態度を測定する方法であり、これは、保持、利益、および成長に大きく関係することが研究で示されています。

ガバナンスを強化する

腐敗や歪みを減らす方法を導入する方法もあります。

ガバナンスの改善

ライヒヘルド*2は、キャンベルの法則の弊害を痛感していました。彼が2019年のWSJの記事で、"人々がどのようにスコアをいじって歪曲し、自分勝手な目的を果たすようにするのか、私には見当もつかなかった "と述べたのは、ちょっとした驚きです。

というのも、著書『究極の質問』の中でライヒヘルドは、NPSの腐敗を防ぐ方法を明らかにすることにかなりのページ数を割いているからです。(第6章「測定のルール」参照）。

この章では、NPSの不要な改ざんを減らすのに役立ついくつかの方法を挙げています。

"システムを欺く試み"を発見するための監査手順を開発する
贈収賄の企てや汚職に対して、顧客を教育する。
他の改ざんや影響を防ぐために、データを収集するために第三者を利用する。
電子メールを利用することで、人々はより正直になることができる（対面や電話では、人々は感情を害したくないため）
スコアを全社的に透明化する（何か問題があれば、誰かが発言しやすくなる）
計画的な行動変化を抑えるため、予測できない間隔でアンケートを実施する

これらのアプローチの有効性については、独自に研究する価値があり、おそらく別の記事の題材になるでしょう。また、組織において優れた業績に報酬を与えることは理にかなっているが、調査に値するもう一つの問題は、腐敗していなければ、顧客サービスの問題の貴重な警告標識を提供できる、主観的な顧客測定から報酬を切り離す方が良いのかどうかという点です。

まとめ

要するに、キャンベルの法則は、ある尺度を重要な意思決定に使えば使うほど、その尺度が腐敗しやすくなり、測定しようと意図したものを歪めてしまうというものです。キャンベルの法則は、教育、犯罪学、ビジネスなどの分野にわたって適用されます。テストの点数、犯罪率、ネットプロモータースコア、顧客満足度などの指標に影響を与える。キャンベルの法則の影響をなくすことはできないでしょうが、腐敗する影響を最小限に抑える戦略を用いて軽減することはできる。