2003年12月14日
■紙か、PCか？
皆さん、ユーザテストの観察記録ってどうされています？紙に記録している人、PCに記録している人、色々いらっしゃるかと思います。σ(^^)は紙派です。字が汚いので、普段の会議などはノートPCで記録をとるんですが、ユーザテストだけは紙の観察シートを使うようにしています。マジックミラー越しの観察室で記録する場合と、被験者さんの目の前でモデレーター（進行役）をしながら記録する場合とでも適不適はあるかと思いますが、それぞれざっと以下のような特徴があると思います。
| 紙の観察シート | 電子記録（エディタ、表計算ソフトなど） | |
|---|---|---|
| 長所 |
|
|
| 短所 |
|
|
ユー・アイズ・ノーバスのようなあらゆるジャンルの製品を評価するところと仕事をしていると、コピー機のように座って評価できないものはもちろんのこと、駅の券売機などノートPCの電源を取ることすら難しい現場も少なくありません。カーナビの実走行テストなど、ノートPCなんて使ってたら酔ってしまって観察にならないなんてことも。そういった場面では、やはり紙（＋クリップボード）の手軽さは、他のデメリット込みでも捨てがたい魅力があります。少なくとも被験者の前に寄り添うモデレーターはやはり“紙”ではないかというのがσ(^^)の持論なのです。
■理想の観察シートとは？
σ(^^)自身、モデレーターを担当することが多いこともあって、とりあえず紙ベースの観察記録シートをもっと効率化できないかと常々考えます。以前にもチェックボックスを使う手法をまとめて学会にも発表しました。今、あれを更に発展させたものを次のHIS2004あたりにもっていこうと仲間達と画策中です。
現状、我々が使っている観察シートで感じる不満点は、テスト後のデータ・マイニングです。テスト中にモデレーターや観察者が記録した記録は、記録者数×被験者数に分散して保存されています。紙だけに一括検索をかけるというワケにも行きません。結局、分析段階で目を通されないままのシートも出てきたりと無駄が多いんですよね。また、ある被験者が興味深い言動をした時に、次の被験者からその発生率をカウントしておきたいと思うことがあります。つまり、チェックボックスを足したいワケですが、たいてい観察シートはその日の分くらいはまとめて印刷済みだったりするので、結局同じメモを取り続けて後で数えることになります。
その辺りの不満を、ツールとしての紙を改良することで解消できないかと思うワケです。さしあたって、セッション毎にシートを替えるという習慣から脱却してみようかなと思っています。前のセッションのメモに書き加えていくことで即席カウンターになるでしょうし。ただ、習熟度などの被験者属性が重要で、しかもセッション実施順がバラバラなケースでは、どのメモはどの被験者のものか区別できるような工夫は必要でしょうね。ペンの色を変えるとか、せめて属性別ではシートは分けるとか。この辺り、すでに実践しておられてノウハウがある方がいらっしゃいましたら、是非お聞かせいただければと思います。
もう一点、紙であることの宿命、字を書くことそのものにそれなりに時間がかかることです。これに関しては、ユーザテスト観察記録専用の速記法を策定することで解決を図っています。こちらで随時要素案を追加、整理中ですので、ご興味があれば、コメントなどいただければと思います。
■モデレーションと観察
この議論を仲間内でしていると、「そもそもモデレーターに観察記録の負荷をかけすぎるのはどうよ？」という意見も出てきます。確かにモデレーションという役は実は結構大変で、観察記録の手間で本来の役回りがおろそかになってしまってはよろしくないでしょう。モデレーターはモデレーションに集中し、観察記録はマジックミラーの向こうで選任者が頑張る、というのが理想だとは思います。ただ、実際の現場ではいつもそれだけのバジェットが確保できるとは限りません。RITE型の取り組みをするための最小人数は少ない方が良いはずなのです。理想のテスト環境が揃わず、すべての問題点をすくい上げることができないとしても、やらないよりはやっぱりやるべきですよね。
開発者自身が仕様策定に悩んだ時、ふと思い立って自分がモデレーター兼観察記録係、後はその辺で被験者つかまえてきてテストする、そんなことができたら素敵じゃないですか？