ヒューリスティック評価によるUI改善の効果について（日本大学との共同研究）

UX/UIデザインによるサービス改善の現場では「この施策により本当に改善効果が得られるのか？」という問いが常に付きまといます。
デザイン変更の判断がどうしてもプロジェクトメンバーの主観や感性の影響を受けてしまう一方で、その変更による効果を定量的に示す手段は限られています。

こうした課題に関する調査のひとつとして、私たちNCDCは2024年度に日本大学 創生デザイン学科 UXデザイン研究室と共同で、「ヒューリスティック評価を用いたUX/UI改善による品質向上とその再現性を検証する」研究を行いました。

ヒューリスティック評価とは？

ヒューリスティック評価とは、専門家が自身の経験則（ヒューリスティックス）に基づいてWebサイトやアプリなどのユーザビリティを評価し、UI上の問題を発見する手法です。

UIの設計を行う際には、ユーザーテストやA/Bテストなどにより効果を検証するプロセスを取り入れるのが理想的ですが、実際にはそのための時間や予算は十分にとれないプロジェクトが大半です。ユーザーの協力を必要とするテスト手法に比べて、ヒューリスティック評価は短期間かつ比較的コストを抑えて実施できるため、UI開発の現場で広く活用されています。

そこで今回の研究では「ヒューリスティック評価」に注目しました。

ヒューリスティックスとしては「ヤコブ・ニールセンのユーザビリティ10原則」（Jakob Nielsen’s 10 Usability Heuristics）が有名です。

ヤコブ・ニールセンによる10原則

1. システム状態の視認性
2. システムと実世界の一致
3. ユーザーの主導権と自由
4. 一貫性と標準
5. エラーの予防
6. 再生より再認
7. 柔軟性と効率性
8. 美的で最小限のデザイン
9. ユーザーによるエラーの認識・診断・回復のサポート
10. ヘルプとドキュメンテーション

上記のような「ヒューリスティクス」がよく用いられるのですが、これは評価のための具体的なルールが詳細に決められているものではないため、この手法による評価のプロセス自体もまた属人的になりがちという点は課題があります。

ユーザビリティテストとの違い

ヒューリスティック評価と混同されやすい手法に「ユーザビリティテスト」があります。ユーザビリティテストは、実際のターゲットに近い仮想ユーザーにサービスを操作してもらい、要改善点を探る手法です。ユーザーのリアルな行動から課題を発見できる反面、準備や実施に時間とコストがかかります。
一方でヒューリスティック評価は、専門家がチェックリスト等を用いて評価するため、短期間・低コストでUIの網羅的な課題を洗い出せる点が特徴です。両者は対立するものではなく、開発初期にヒューリスティック評価で基本的な課題を潰し、その後ユーザビリティテストでより深い検証を行うといった補完的な使い分けが可能です。

ヒューリスティック評価のメリットとデメリット

ヒューリスティック評価のメリット

• 短期間・低コストで実施可能：ユーザーのリクルーティングやテスト環境の構築が不要なため、スピーディに実施できます。
• 開発の初期段階から適用可能：プロトタイプや画面設計書の段階でも評価ができるため、後工程での手戻りを防ぐことができます。
• 網羅的な課題抽出：経験則に基づいた明確な基準で評価するため、広範囲の画面を一貫してチェックできます。

ヒューリスティック評価のデメリット・注意点

• 評価者のスキルに依存する：専門家の経験則に頼る手法であるため、評価者の知識レベルによって発見できる課題の質や量にばらつきが出やすくなります。
• ユーザー特有の行動は発見しにくい：あくまで専門家の視点による評価であるため、実際のユーザーの想定外の操作によるエラーなどは見落とされる可能性があります。

ヒューリスティック評価の一般的な実施手順

ヒューリスティック評価は、一般的に以下のような手順で進められます。

1. 評価基準とタスクの定義：ニールセンの10原則などベースとなる基準を決定し、評価対象となるユーザーの主要なタスク（目的達成までの操作フロー）を定義します。
2. 専門家による個別評価：複数の評価者（理想は3〜5名程度）が、それぞれ独立してUIを操作し、基準に照らし合わせて課題を洗い出します。
3. 課題の集約と優先順位付け：各評価者が発見した課題を持ち寄り、重複を整理します。その上で、ユーザーに与える影響度や修正コストなどを考慮し、対応の優先順位を決定します。
4. 改善案の策定：優先順位の高い課題に対して具体的なUI改善案を作成し、次のデザインプロセスへ反映させます。

ヒューリスティック評価によるUI改善の効果の研究 

実際にヒューリスティック評価による改善がどれほどの効果をもたらすのか、私たちNCDCが日本大学と行った実証実験の結果をご紹介します。

研究の概要

今回の研究では「専門家ではない大学生が、ヤコブ・ニールセンによる10原則に基づくヒューリスティック評価を使ってUX/UIを改善できるのか？」という問いを立て、デザイナーのスキルに依存しない、一般的な評価分析プロセスによる改善効果の検証を試みました。

今回の研究では、以下のような流れで実験を進めました。

1. ヒューリスティック評価の実施
2. プロトタイプの制作
3. A/Bテストの実施
4. 実験結果の評価

ヒューリスティック評価の実施

ある映画館のWebチケット予約サービスと大学の課題管理サービスを対象に、学生たちが評価を実施。ニールセンの10原則に従い、UI上の問題点を洗い出しました。

プロトタイプの制作

まず、ヒューリスティック評価で抽出された課題をもとに、各サービスのUI改善案（プロトタイプ）をFigmaで制作しました。実験での比較用に改善前のUIも同様にFigmaで再現し、同条件で改善前・改善後それぞれのUIを用意しました。

プロトタイプとは、完成されたサービスではなくその前段階の試作品のことです。
今回webシステムとして実装されたものではなく、主要な画面を模したデザイン画像により操作の仕方を確認できる簡単なプロトタイプを用意しました。

A/Bテストの実施

25名の被験者を対象にA/Bテストを行い、以下の指標について測定を行いました。

• 操作時間
• タスク達成度
• 質問紙調査（SUS｛System Usability Scale｝、NASA-TLX｛主観的負荷｝）
• 視線トラッキング

なお、被験者には各自どちらか一方のプロトタイプのみを操作してもらうことで、「学習効果」が評価に影響しないように配慮しました。

A/Bテストとは、2つ（以上）の異なるパターンのデザイン等を用意して、どちらがデザイン面や機能面等で優れているかを調査する手法です。パターンA、パターンBを比較する場合、それぞれのパターンを異なる被験者に提示し操作してもらうことで、被験者が比較対象のパターンを重複して操作しないようにします。
SUSとNASA-TLXとは、アンケート調査により操作の疲労度やサービスの満足度などの主観評価を定量的に集計する手法です。

実験結果

映画館のWebチケット予約のある改善箇所では、操作時間が18.5秒短縮され、有意差を確認できました。
また、全体の操作時間が10%程度短縮されました。

一方で、既存の課題管理システムの操作に慣れている学生にとっては、改善後のUIで操作時間がむしろ長くなるという結果も見られました。
このケースは特に興味深いもので、既存のUIに習熟しているユーザーに対して、改善（変更）を加えたUIを提供しても、必ずしも改善直後から良い結果をもたらすとは限らないことがわかります。
（もちろん時間をおいて、改善後のUIに習熟した頃に再度調査すれば、操作時間が短くなることはありえます）

サービス改善プロジェクトの現場に向けて

今回の検証では、映画館のWebチケット予約と大学の課題管理という2つのサービスに対して10箇所程度の改善を行った結果、1箇所の改善に対して操作時間による有意差が得られたました。
また、他の改善箇所に関しても有意差は得られなかったものの、傾向としては操作時間の短縮が見られました。

専門家以外（学生）の手よるものでも、「ニールセンの10のヒューリスティクス」に基づく評価を行うことで操作時間の短縮という改善結果が観測されたということは、一定の原則に基づくによる評価プロセス自体にデザインを改善する効果があると考えられます。
ユーザビリティテストが行えない場合は、デザイナーが経験則に基づくヒューリスティック評価でUIを評価し、デザインの改善策を検討するだけでも十分なUI改善の効果が価値があるといえます。

NCDCでは、UXデザインコンサルティングや、システムのUX/UIデザインサービスを提供しており、今後もUX/UIデザインの効果を検証するための取り組みを続けていきたいと考えています。
サービス・システムのデザイン改善に確かな改善品質を求めているご担当者の方は、ぜひお気軽にご相談ください。