「Crusader Kings III」開発日記#35が公開されていましたので、その内容をご紹介。今回はユーザーテストについて。本体発売前の開発日記です。
開発日記
開発日記#35は、ユーザーテストについて。
- 今回はユーザーリサーチの仕事とCK3のユーザーテストについて。
ああユーザーテスト……つまりあなたはQA/品質保証だ！
- 何度聞いたことか！ しかし違う。非常に単純化すると、品質保証が機能を評価するときにはyes/noで報告する。ユーザーリサーチが機能の評価を依頼された場合、私たちはユーザーの視点からゲームを見て、プレイヤーがどれだけゲームを理解しているか、メニューが混乱していないか、プレイヤーは楽しんでいるかなどのフィードバックを集めてテストを行う。
- これにはさまざまな方法があるが、CK3では特定の属性にマッチした2～15人のプレイヤー（この場合はPDSストラテジープレイヤー）をラボに招き、未完成バージョンのゲームをプレイしてもらい、その様子を見たり録画したりしながら、ビデオクリップやプレイヤーのフィードバックを開発チームに持ち込んだりするプレイテストがほとんどだった。
- こうしたことが完全に正しく正確に行われているかどうか、どうやって確認するのか？ 社会科学で使われる多くの方法を使って、発見したことを検証している。ほとんどの場合、観察（プレイヤーのプレイを見て、彼らの言動をメモすること）、1つまたは複数の調査、そしてインタビューを組み合わせる。チュートリアルのステップで何人かが苦戦しているのを確認できれば、その問題を抱えているのはその人たちだけではない可能性があり、その人たちがどのように感じたかを口頭とテキストの両方で説明することで、何が問題なのかをピンポイントで特定できる。
- しかし、人間は複雑であり、科学的な方法を使っていても、私たちの仕事は科学的な結果を出すことではないことを覚えておくことが重要だ。私たちの仕事は議論や再設計のための基礎をもたらし、同僚がどのように機能を調整すればいいかについて情報提供することだ。
これはCK3にも関連すると思うけど……？
- ゲームに込められたアイディアやデザインを評価する際には、どんなインタラクティブな媒体でもユーザーリサーチを行うことはいいことだろう。CK3はユーザーデザインの観点からも興味深い課題だ。ハードコアプレイヤーが求める複雑さを維持しつつ、新しいプレイヤーには甥が「事故」に遭ったことで称号を相続したときの素晴らしい感覚を味わえるようにするにはどうすればいいだろうか？ 実際のプレイヤーの言動や考えに耳を傾けなければ、間違いを犯したり、変えるのが遅すぎたと気付くリスクがある。
調査についてはもういいよ。CK3ではなにをしたの？
- このゲームでは他のPDSタイトルやCK2と比べて新しいことを数多くやっているため、早い段階でプレイヤーからのフィードバックを得ておくことが物事を進めていく上での失敗を避けるいい考えということになる。
- 例えば、CK3で初期に行ったことは社内で行われていたことだった。開発チームがキャラクターの初期デザインを行っていた時に、ユーザーリサーチが協力して同僚全員にアンケートを送り、フィードバックを集めた。当時のキャラクターは上の画像のような感じだった。
- ほとんどの人にとってこのスタイルはあまりにもカートゥーン調だったため、こうしたフィードバックを得られたのはいいことだった。同僚には大変な思いをさせてしまったかもしれないが、発売日前に気づけてよかった。
- 私たちはまた、ゲームの開発期間中に2か月に1回、2～4人で1時間のプレイテストを実施した。このテストはUXデザイナーと密に連携して行われることが多く、結婚、戦争の開始と終了、策略（Scheme）の設定など、基本的なゲームプレイの行動をどれだけプレイヤーがうまくやれるものにするか確認することに重点を置いた。こうしたテストのおかげで、評議会、結婚、建造物のメニュー、攻城戦/戦争の概要など、プレイヤーにわかりづらいことが判明したメニューに変更が加えられた。
- CK3で最重要のプレイテストはチュートリアルとゲーム内ヘルプのシステムを評価したときだ。このテストには12人の参加者がおり、そのうち6人はCK2のプレイ時間が200～800時間、6人は「初心者」で、チュートリアルを試して学んだことを使って2時間ゲームをプレイしてもらった。新規プレイヤーはチュートリアルが視覚的な指示でメニューを案内されることや、多くのPDSタイトルが抱えている「次はなにをすればいいのか？」を助けてくれる提案を好んだ。「古参」プレイヤーはUIが慣れるまでに時間がかかることに気づき、また提案システムが次になにをすべきかのチェックリストとして便利だと感じていた。
- もちろん完璧なものはないが、プレイヤーからのフィードバックのおかげで、特にUIに関して新規と古参のプレイヤー双方に向けてさらなる作業が必要な領域を特定できた。これまでに行ったプレイテストでは新規・古参双方のCKファンにとってわかりにくいゲームから親しみやすいゲームへと変化していくのを見ることができて満足している。
こうしたテストを行っても、どうしてゲームは完璧で素晴らしいものにならないの？
- ゲーム開発は複雑で、発見した問題に対処する時間も人手もお金もないことがある。コミュニティ管理者やマーケティング担当者には、リリース時に予想される問題や懸念について注意喚起するため、私たちの得た結果を共有している。
（注：ユーザーリサーチとして）コロナのせいでなにか変わったことは？
- 一番大きな変化は、ストックホルムオフィスの美しいラボにアクセスできなくなったことだ。ラボにはコンピューターステーションが設置されていて、ゲームのインストールや録画の準備を事前に行うことができる。これによって調査の準備が格段に楽になったし、漏洩を防ぐのにも優れている。
- CK3ではリリース前に計画していたラボ活動のほとんどが終了していたのが幸いしたが、他のプロジェクトではプレイヤーに自分のコンピューターでゲームをプレイしてもらい、ビデオチャットですべてのインタビューを行うという遠隔調査を行った。まだ試行錯誤中だが、この方法は多くのメリットがある。その最大のものは、世界中の人々にテストプレイしてもらえる可能性があるということだ。
（注：ユーザーリサーチとして）リリース後はなにをやるの？
- CK3については、リリース後にフィードバックを集めて報告する作業に取り掛かる予定だ。つまり、Steam や他のページに書いてもらったことはなんでも、次になにを改善すべきかわかるように話題をまとめることになるだろう。その後はパッチとDLCのために新しいプレイテストを計画することになる。
- ゲーム開発の中でもあまり知られていない分野の話を楽しんでもらえたことを祈る。それから、私のうぬぼれ屋のキャラクターに出会ったら優しくしてあげてほしい。彼女はとても弱い。
コメント