こんにちは、はじめまして。DMM GAMESプラットフォームデザイン部のnagaと申します。
今回は私たちが現在運営しているDMM GAMES（http://games.dmm.com/）で導入しているバナー効果テストについてお話させていただきます。
バナー効果テストとは
バナーのテストを繰り返し行い、効果の高いバナーを見つけていくことです。
私たちチームではテスト結果から高い効果が出やすい法則性や手法などを見つけ、様々なゲームにナレッジとして共有することをミッションとしています。
効果の高いバナーとは
そもそも効果の高いバナーってなんでしょうか。
例えばここに２つのバナーがあるとします。
A：見た目がきれいなバナー
B：デザインは微妙だが、バナーの効果が高くなる要素を盛り込んだバナー
デザイナーであればAの方が効果の高い良いバナーと答えてしまいたくなるのですが、それは違います。
見た目がきれいでも、クリックをされていないのであれば、効果の高いバナーとは言えません。
しかしBの方が効果の高いバナーというわけでもありません。
もちろん見た目もブランティングなどに関わるため捨てていい物でもないのです。
要するに、デザインがきれいなのは当たり前！そこにバナー効果が高くなる要素を盛り込んだバナーが効果の高いバナーといえます！
私たちは、CTR(クリック率)が高いバナーを効果の高いバナーとして指標にしています。
実際に数値をみて本当に効果の高いバナーを作成できているか調べることがすごく重要なのです。
そのため、私たちチームではマーケティング部と連携して以下のようなテストを実施しています。
テスト方法
このようにバナー設置枠の一部に効果測定用バナーを設置して数値を計測します。
ここで効果の高いバナーを細かく分解し、どの部分がユーザーに刺さったのかを分析していきます。
例えばテストをして一番効果の高いバナーが上記だとします。
ここでは、なぜこのバナーが他のバナーよりもよい数値が出たのかを仮説を立てて調べます。
まずはバナーで使われている要素をバラバラにしてみます。
すると「キャライラスト」「新キャラ続々登場」「期日」の３つの要素に分けることができます。
次のテストではひとつの要素だけを変更し、導き出された仮説が正しいかをテストします。
今回はキャラのみを変えて実験してみましょう。
もしキャラを変更したバナーでも数値があまり変わらない場合は「新キャラ続々登場」か「期日」がユーザーの心を引きやすい項目である、という仮説を立てることができます。
反対にキャラを変えてテストして数値が大きく変動した場合はキャラクターのイラストがユーザーの心理に影響していた、という仮説を立てることができます。
このような仮説と検証を繰り返すことでより効果の高いバナーを作っていきます。
バナー効果テストのメリット・デメリット
バナー効果テスト実践編
次はバナー効果テストの実施事例をご紹介したいと思います。
検証項目はロゴサイズを３段階に分けて作成し、３回テストいたしました。
実際の結果は以下のようになります。
このようにロゴサイズは読める程度の大きさはあったほうが効果が高いことが分かります。
考察
ロゴが読みやすい方がクリックに安心感が出ますし、ゲームタイトルを知っている方はあのゲームか！とクリックしやすくなるなどが挙げられます。
また今回テストした「神姫PROJECT」自体がDMM GAMES内でもともとトラフィックが多いタイトルということも数値が上がった要因の一つだと考えられます。
バナー効果テストをしてよかった点
・自分がいいバナー！と思ったバナーが必ずしもユーザーに刺さるデザインではないことが分かった点
・ひとつひとつ細かく数値を見ていきますので、感覚的なものではなく論理的にバナーを作成できるようなった点
毎週一定数のバナーを作成することはすごく大変ですが、それに見合う収穫がありますので、バナー効果テストを今後も続けていきたいです。
バナー効果テストで失敗した点
・最初に大まかなテスト内容を決めておらず、行き当たりばったりにテストしてしまった点
（→ネタが尽きると、似たようなバナーが増えてしまった。）
・全体のロードマップが引かれておらず、どのくらいのデータ粒度でテストすべきか不鮮明だった点
ロードマップの重要性
ここではバナー効果テストをする際に特に大切なロードマップの重要性を体験談を例に挙げて説明させていただきます。
▼全体のロードマップがないとどのようなことが起きるのか
このように結果が出たがこれで終わればいいのか、どのぐらいテストを続ければいいのかが分からなくなり、行き当たりばったりなテストになりがちになってしまいます。
▼ロードマップがあるとどうなるのか
【ケース①：テスト期間が3ヶ月の場合】
3ヶ月しかテストする期間がとれないため、3ヶ月で出来るデータ粒度でテストします。
・ゲームジャンル
・ゲームシステム
・インセンティブ訴求
・○○万人突破（＝人気のあるゲーム）など・・・
このようにおおまかなテスト項目だけをテストしてどのバナーデザインが数値が上がりやすいかをテストする。という方針になりました。
【ケース②：テスト期間が3年間の場合】
3年間もテストする期間があるため、細かくテストしていけそうです。
・インセンティブ訴求
→高レアリティキャラがもらえる。
→ガチャ無料
→豪華なアイテム配布中
→○○万円貰えるキャンペーン
・ゲームシステム
→ターン制RPG
→レイドバトル
→フルボイス
このようにケース①と比べてケース②はテスト項目を細かくテストする方針でいきましょう。となります。
全体のロードマップを引くだけで、自分達はどのようにテストをすべきなのか、どのくらいのデータ粒度で終わればいいのかがテストを始める前に大体予測をつけることができ、質の高いテストを実施できると言えます。
現在私たちはケース②でテストを実施しております。
今後のバナー効果テストの改善策
・あらかじめテスト内容を決める
・テスト内容を踏まえて効果テストをどれくらいの期間行うのか決める
・効果テストの区切りの判断はどうするのかを決める
この3点を当初に決めてからテストをするとより短期間でデータが収集できるため、今はこちらの注意事項を取り入れてテストを進めています。
最後に
バナー効果テストは長期間に渡っての地道な作業なので大変ですが、その分得られることも多いので、みなさんも試してみてはいかがでしょうか！
御一読ありがとうございました！