タッチ、ジェスチャー、音声などのモダリティを使って操作するユーザーインターフェースは、しばしばナチュラルユーザーインターフェース（NUI）と呼ばれます。私たちは、自分が使いやすく、自然に感じられるインターフェースのことをそう呼んでいます。しかし、自然なインターフェースとはどういう意味でしょうか。また、NUIのインターフェースはどのようにデザインすればよいのでしょうか。ここでは、NUIとは何か、そしてNUIをデザインするためのガイドラインを紹介します。
ナチュラルユーザーインターフェイスとは
「これまで、私たちは常に技術の限界に適応し、コンピュータとの付き合い方を任意の規則や手続きに合わせなければなりませんでした。NUIによって、コンピューティングデバイスは初めて私たちのニーズや好みに適応し、人間は自分にとって最も快適で自然な方法でテクノロジーを使い始めるでしょう。」-ビル・ゲイツ（多国籍テクノロジー企業マイクロソフトの共同創業者）
NUIを定義するのは難しいですが、自然で使いやすいユーザーインターフェースについて考えるとき、私たちはしばしば、インタラクションが直接的で、私たちの「自然な」振る舞いと一致するユーザーインターフェースを思い浮かべます。例えば、Apple社のiPadのマルチタッチや、Microsoft社のKinectを操作するための空中のボディジェスチャーなどが、自然なユーザーインターフェースと呼ばれる例としてよく挙げられます。NUIは、ユーザーインターフェースの進化における次のステップと呼ばれています。マウスとキーボードによる従来のグラフィカルユーザーインターフェースのインタラクションに比べ、より幅広い基本的なスキルを使用できるため、ユーザーインタラクションが楽しく、簡単で自然なものに感じられることがNUIの利点です。
ジェスチャーによるインタラクションを使えば、ユーザーインターフェイスは自然になると考える人が非常に多いのです。しかし、Apple iPadのマルチタッチジェスチャーのようなものを考えてみると、現実はもっと複雑であることがわかるでしょう。iPadのジェスチャーの中には、1本の指で左右にスワイプするなど、直感的で自然なものもありますが、これらはすべて、iPadを一躍有名にした「マジック」の一部です。一本指でスワイプすると、ページをスクロールしたり、コンテンツをスクリーンの片側から反対側に移動させたりすることができます。このジェスチャー自体が、あなたが行っているアクションに対応しています。また、例えば古いセントラルヒーティングシステムにあるプラスチック製のスライドコントロールを動かすのと同じように、「デジタル世界」のものが「アナログ世界」と同じように動作するという原則の威力を示しています。
しかし、ジェスチャーの中には、もっと学習が必要なものもあります。例えば、4本指で左右にスワイプするジェスチャーです。4本指で左右にスワイプすると、あるアプリから次のアプリに切り替わります。4本指のスワイプは直感的ではありませんし、私たちが自然にできることではありません。4本指でスワイプするためには、そのジェスチャーと自分が行っている動作の関連性を理解するために、ユーザーとして専用の動作として習得する必要があるからです。もし、NUIがユーザーにとって自然なモダリティによって生み出されるものでないなら、NUIとは何なのでしょうか。
iPadのタッチユーザーインターフェースは、ナチュラルユーザーインターフェース（Natural User Interface）の一例としてよく言及されます。
「音声、ジェスチャー、タッチが必ずしもNatural User Interfaceになるとは限りません。」-マイクロソフトの主席研究員、ビル・バクストン氏
マイクロソフトは、NUIについて多くの研究を行ってきました。ここでは、その定義とガイドラインをもとに、ほとんどの内容を紹介します。マイクロソフトの主席研究員であるビル・バクストンは、NUIについて「私たちが一生の間に身につけてきたスキルを利用することで、認知負荷を最小にし、その結果、注意散漫を最小にすることができる」といっています。また、NUIは常に利用シーンを想定して設計する必要があるとしています。すべての使用状況、すべてのユーザーにとって自然なユーザーインターフェースはありえない。ジェスチャー、音声、タッチは多くのNUIにとって重要な要素ですが、それらがユーザーのスキルレベルや使用状況にマッチして初めて、ユーザーにとって自然に感じられるようになるのです。例えば、Bill Buxtonは、音声ユーザーインターフェースは、自動車を運転しているときに使用できる最も自然なユーザーインターフェースであると述べていますが、周りに多くの人がいる状況、例えば、混雑した飛行機の中で他の人があなたの言っていることを聞いている状況では、うまく機能しません。NUIはユーザーのスキルレベルや使用状況に合わせる必要があるため、21世紀初頭の技術では、すべてのユーザーにとって自然に感じられるインターフェースを設計・実装することは非常に難しい課題です。そこで、すべてのユーザーにとって自然なNUIをデザインするのではなく、特定のユーザーやコンテクストにフォーカスしたNUIをデザインすることが必要です。
NUIが自然に感じられるためには、個々のユーザーとその使用状況に適合している必要があります。しかし、それは多くのユーザーインターフェースについて言えることです。では、NUIは他にどのような属性を持つべきでしょうか？Joshua Blakeは、「Natural User Interfaces in .NET」という本の中で、NUIを設計するための4つのガイドラインを挙げています。
- 即時的な専門知識
- 段階的な学習
- 直接的なインタラクション
- 認知的負荷（主に生得的な能力と単純なスキルを利用する）
それでは、優れたNUIを設計するために、それぞれのガイドラインを順番に見ていきましょう。
即時的な専門知識
NUIを設計する際には、ユーザーの既存のスキルを活用する必要があります。もし、ユーザーが生活の他の領域で持っているスキルを適用できれば、全く新しいことを学ぶ手間を省くことができます。どのようなスキルを使うべきかを理解したら、ユーザーは既存のスキルと期待を活かしてあなたのNUIと対話することができる。これには2つの方法があります。
- 一般的なヒューマンスキルの再利用
- ドメイン固有スキルの再利用
一般的なヒューマンスキルとは、ほとんどの人がその方法を知っているものです（例：会話）。一般的なヒューマンスキルを使用するようにNUIを設計する利点は、異なるユーザーグループについてそれほど考える必要がないことです。ほとんどのユーザーは、人間であるという理由だけで、そのスキルを持っていると考えることができるのです。
音声で操作するAmazon Echo Dotスピーカーは、人間の一般的なスキルを利用したユーザーインターフェースの一例です。その非人間的な外見とは裏腹に、非常に人間的な「キャラクター」を持っています。
ドメイン固有スキルとは、特定のユーザーグループのスキルを指します。電子音楽を作曲するためのユーザーインターフェースを設計する場合、音楽家がさまざまな楽器や音符の書き方などを知っていると仮定することができます。そのようなユーザーグループには、まったく新しいことを学ぶのではなく、既存の知識を活用したユーザーインターフェースが使いやすいと思われるでしょう。
しかし、可能な限り、NUIデザインでは常に一般的なヒューマンスキルを再利用するようにすべきです。一般的なスキルは、幅広いユーザーに適用されるからです。音楽家のような特定のターゲットグループを想定している場合、彼らはまた異なるドメイン固有のスキルセットを持つかもしれません。例えば、音符が読める人と読めない人がいて、タブ譜に頼ったり、耳で聞いた作品を再現したりします。このように、作曲を志す人なら誰にでも対応できるように、ターゲットを広げる（マーケットを広げる）ことができます。
段階的な学習
NUIは、初心者がユーザーインターフェースの使い方を段階的に学習できるようにする必要があります。この場合、基本的なスキルから始めて、段階的に高度なスキルに移行できるような、明確な学習経路をユーザーに示す必要があります。初心者のユーザーには、あまりに多くのオプションで圧倒してはいけません。むしろ、シンプルに「ベイビーステップ」を考えてください。この学習方法は、私たちが多くの身体的スキルを学ぶ方法を真似ています。例えば、スキーを学ぶときは、徐々にステップアップしていきます。転ばないように平らな場所に立つといった基本的な技術から始め、緩やかな斜面を降りてから大胆な滑りをすることもあります。もし、急斜面の真ん中から始めたら、学ぶことが苦痛になり、多くの人が諦めてしまうでしょう。
初心者には段階的な学習が大切ですが、熟練者の邪魔をしないことも重要です。ベテランユーザーには、すでに持っているスキルを使うことが必要であり、また許されるはずです。もし、熟練者が長い学習過程を強いられると、フラストレーションがたまるでしょう。例えば、オリンピックに出場するスキーヤーが、大回転にかける情熱に駆られているのに、赤ちゃんゲレンデに留まっていることに憤慨している姿を思い浮かべてください。ジョシュア・ブレイクは、複雑なタスクを基本的なタスクのサブセットに分割することで、この妥協を達成することを提案しています。もし、より複雑なタスクを避けることができないのであれば、できる限り厳しい制限にとどめるべきです。同様に、初心者のユーザーが遭遇する基本的なNUIには、これらのタスクが含まれないようにすることです。スキーの例に戻ると、スキーという行為（そして芸術）は、基本的なタスクのサブセットから構築されています。これらは、初心者であろうと熟練者であろうと同じです。しかし、スキーの上級者は、初心者の使い方とは明らかに異なる方法で、基本的な技術を組み合わせることができるのです。コンピューターゲームでも、初心者は簡単な技から始めて、経験を積むことでより複雑なコンボを使えるようになり、より難しい敵と戦えるようになります。そのため、ゲームソフトの難易度設定には様々なものが用意されていますが、最も難しいものでも、少なくとも2つ目のレベルまでは到達できるように、ある程度の余裕を持たせているのです。このような基本的なタスクの積み重ねは、あなたのデザインのユーザーに対しても同じです。この原則は、どのようなNUIであっても、常に適用してください。
Reactableは、物理的な物体に対する人間の一般的な理解を利用した、具体的なユーザーインターフェースを持つ電子楽器です。インタラクティブサーフェス上に物理的なオブジェクト（タンジブル）を配置し、動かすことで機能します。初心者でも熟練者でも使うことができます。
直接的なインタラクション
NUIは、ユーザーのアクションとNUIのリアクションの間に直接的な相関関係を持たせることで、物理世界とユーザーのインタラクションを模倣する必要がある。Apple iPadとMicrosoft Kinectは、私たちのアクションとスクリーン上で起こることの関係が直接感じられるNUIの良い例です。ジョシュア・ブレイクは、ダイレクト・インタラクションを3つのパートに分類しています。
- 直接性
- 高頻度インタラクション
- 文脈的インタラクション
直接性とは、ユーザーが相互作用しているNUIに物理的に近い（触れている）こと、NUIのアクションがユーザーのアクションと同時に起こること、NUI上のエレメントの動きがユーザーの動きに追従することを意味します。アップル社のiPadのようなNUIには、すべての形態の直接性が含まれているものもあれば、モーションセンサーを備えた入力装置マイクロソフト社のKinectのように、1つか2つの直接性要素を含むものもある。
マイクロソフトのKinectは、ユーザーの動きを感知し、動きによってスクリーン上のコンテンツとインタラクションを行うことができるコンソールです。インタラクションは画面の近くにあるわけではないが、リアルタイムに反応し、ユーザーの動きに追従します。
高頻度インタラクションとは、ユーザーとNUIの間に常にアクションとリアクションのフローが存在することを意味します。これは、バランス、スピード、温度などのフィードバックを常に受けている物理的な環境での活動を模倣しています。NUIで高頻度なインタラクションを実現する1つの方法は、直接性を生み出すためのガイドラインに従うことです。もしユーザーが自分の行動の直接的な結果を常に見ることができれば、ユーザーもまた常にフィードバックを受けていることになる。タッチスクリーンでGoogleマップをズームイン／アウトするのは、高頻度インタラクションの良い例です。マップの動きは、ユーザーの指の動きに密接に追随しています。
高頻度のインタラクションでユーザーを圧倒しないためには、NUIが文脈に応じたインタラクションも使用することが重要です。NUIは、すべてのオプションを一度に表示するのではなく、ユーザーの現在のインタラクションに関連する情報を主に表示する必要があります。例えば、Google Mapsは、ユーザーがズームインまたはズームアウトしているときのみ、地図の縮尺を表示することでこれを実現しています。ユーザーがズームを止めると、縮尺はすぐに消えます。ユーザーは、例えば1cm：50マイルから1cm：5マイルの表現に移動したことを認識するのに、それほど時間を必要としません。
タッチスクリーン端末では、Googleマップはユーザーがズームしている時のみ地図の縮尺を表示します。ユーザーがズームを停止すると、縮尺はすぐに消えます。
認知的負荷
ユーザーがインターフェースとのインタラクションを困難と感じる場合、その精神的努力または認知的負荷は高い。ユーザーがインターフェイスの操作方法について考え続けるのではなく、タスクの達成に集中できるように、認知的負荷を最小限に抑えたいと考えています。ユーザーの認知的負荷を最小限にするためには、ユーザーがインタラクション中に主に基本的な知識や簡単なスキルを適用するように、NUIを設計する必要があります。これにより、インターフェイスの使用と学習が容易になります。基本的な知識の良い例は、物理的な世界のオブジェクトに対する理解です。私たちは幼い頃から物理的な物体がどのように振る舞うかを理解しています。そして、ユーザーインターフェースがこの知識を活用し、同じように振る舞うグラフィカルユーザーインターフェースオブジェクトを持っていれば、そのインターフェースに何を期待すればよいかを正確に理解することができるのです。もし、特定のユーザーグループが、NUIの操作に使用できる複雑なスキルをすでに持っているなら、ユーザーに既存の複雑なスキルを使用させるよりも、簡単なスキルを教えることを優先すべきです。この意味で、Cognitive loadガイドラインはInstant expertiseガイドラインと対立するものです。それでも、基本的なスキルは長期的にはより少ない労力で、より広いユーザーグループをターゲットにすることができます。
要点
NUIとは、ユーザーのスキルや状況に合わせて、自然に使えるユーザーインターフェースのことです。以下は、NUIをデザインするための4つのガイドラインです。
- NUIは、ユーザーの既存のスキルや知識を活用すること。
- NUIは明確な学習経路を持ち、初心者と熟練者の両方が自然な形で対話できるようにすべきである。
- NUIとのインタラクションは、直接的であり、ユーザーのコンテキストに合わせるべきである。
- 可能な限り、ユーザーの基本的なスキルを活用することを優先させるべきである。
NUIの成功の証明は、あなたのデザインにアクセスしたユーザーが短時間で決定する問題であることを忘れないでください。そのため、ユーザーのアイデンティティ、ニーズ、コンテクストを常に念頭に置いてください。同様に、NUIのある側面が実際にどれほど「賢い」ものであるかを常に意識しておくことが重要です。
参考文献と詳細情報
Joshua Blake、「Natural User Interfaces in .Net」、2011年
この本からの抜粋と、NUIの設計方法に関する詳細な議論は、ここで読むことができます。
NUIについてもっと知りたい方は、こちらもどうぞ。Daniel Wigdor and Dennis Wixon, Brave NUI World: タッチやジェスチャーのための自然なユーザーインターフェイスの設計、2011年
「体験とデザイン、スタートアップについて」の更新情報は、ぜひこちらのアカウント（@hrism2）をフォローしてください！
— いしまるはるき (@hrism2) May 30, 2022
