課題解決のために最適な改善策を見つけるABテストの実施方法

プロモーション活動を行なっていると「CVRが低い」とか「認知が取れない」など必ず課題が浮き彫りになってきます。その課題を解決するためにチャネルやコンテンツを駆使して、改善活動を行なっていくことになりますが、下手な改善をしてしまうと現状よりも数字を悪くしてしまう可能性もあり、課題を増やしてしまうこともあります。
そんな時に役立つ手法がABテストです。ABテストを実施することで、一部のユーザーだけに改善策を試してもらう事ができ、尚且つユーザーの反応をダイレクトに確認することができます。ユーザーの反応を元に最適な改善策を見つけていくことで、今以上に優秀なプロモーションツールと化していくでしょう。
ただ闇雲に実施しても良い結果は生まれません。ABテストを実施する際には事前にちゃんと設計をしてから実施する必要があります。特に設計もせずに思いつきでABテストをしてしまうとその結果の良し悪しを間違って判断してしまう可能性もあるため、ABテストの設計から実装までの手順を紹介します。

ABテストの実施手順

ABテストを実施するまでには「ABテストの設計」と「ABテストの実装」の大きく分けて2つの工程があります。課題点に対して改善案を検討し、実際に改善案に沿った形でABテストの実装を行います。

テスト設計

ABテストを実施したいということは現状に課題を感じているもしくは改良の余地があると睨んでいることだと思います。そんな課題点や改良の余地に対して、改善策を考え、改善インパクト、改善コスト、費用対効果からそのテストを実行するか否かを判断することが設計のポイントです。
ABテストを設計する際に検討する項目は全部で16項目になります。1つの改善に対して複数の視点から整理することでテスト内容を具体化していきます。

課題	現在課題となっており、ABテストの対象としたい問題を記載します。ここに記載している内容がABテストを通して改善する内容になります。
仮説	課題が生じている要因となっている仮説を記載します。
改善案	課題の仮説を解消するための改善案を記載します。ここで設定した改善案(オリジナルパターンに勝てると想定しているテストパターン)が実際にABテストとして設定する内容になります。
成功基準(KPI)	テストパターンの結果を評価する指標と目標数値を設定します。現状の数値がある場合は、その数値からの目標の改善幅も設定します。
チャネル分類	チャネルはオウンド、ペイド、アーンドの大きく分けて3種類に分けられます。特定のチャネル流入に限定してテストを行う場合は、指定を行います。
メディア	メディアはチャネルをより細かくした分類です。オウンドではメールマガジンやアプリPUSH、ペイドではGoogle広告やYahoo!広告など複数のメディアがあり、特定のメディアからの流入に限定してテストを行う場合は、指定を行います。
デバイス	ABテストを実施するデバイスを定義します。課題がPC(デスクトップ)とSP両方共に共通するのか、それともSPだけの課題なのかでテストをする対象のデバイスは変わると思います。 デバイスは大きく分けて３種類で、PC(デスクトップ)、タブレット、SP(スマートフォン)に分けられます。
ページURL	特定のページやスクリーンでABテストを行いたい場合は、URLやスクリーン名を指定します。
エリア	ページやスクリーンの中でも特定のエリアのみでABテストを行いたい場合はエリア名を記載します。
テスト手法	ABテストを行う際に同一URLテスト、スプリットURLテスト、多変量テストの中から選んで指定します。
テストパターン数	オリジナルと比較する改善案のテストパターン本数を決めます。
テスト配分	テストパターンで決めたテスト本数とオリジナルのテスト配分を決めます。オリジナルとテストパターン合わせた全パターンを均等に配分するか個別に配信比率を決めるかの2パターンになります。
必要サンプル数	テストを実施するにあたって結果を出すのに必要な対象人数(サンプルサイズ)を算出します。サンプルサイズが大きくなればなるほどテスト期間が多く必要になりますので、期間なども考慮しながらサンプル数を検討します。
改善ポテンシャル	改善が成功することで与えるインパクト量(金額)
改善コスト	改善をすることでかかるコスト。 コストにはプロモーション費用である変動費や改善活動に費やした人材の稼動にかかる人件費といった固定費の2種類がある。
ROI	改善による費用対効果を算出します。

改善案

改善案のパターンは大きく分けて12分類に分けられます。改善パターンを検討する際のアイディアの軸として利用していただくと改善案も出て来やすくなると思います。

引き算	重要でないノイズ要素をカットし目的到達に近づける
足し算	要素・各種パーツを新たに追加する
配置替え	重要要素のレイアウト位置を変更し視認性を上げる
要素強調	重要要素を視覚的に強調し視認性を上げる
コピーチェンジ	コピーテキストを変更しユーザー心理に働きかける
ビジュアルチェンジ	ビジュアル画像イメージを変更する
UIコンポーネントチェンジ	操作ナビゲーション・操作パーツを改修する
カラムレイアウトテスト	2段組み、3段組みなどを変更する段組レイアウト変更の実験
複数要素の最適組み合わせ	複数要素×複数バリュエーションで最適な掛け合わせの探求
フロー改修	開始→確認→完了、等の一連ページの、ページのフロー遷移の実験
機能改修	各種システム機能を拡張・変更するテスト
ダイナミックチェンジ	全く異なるページにガラッと変える大改修テスト

テスト手法

ABテストを実施する際には大きく分けて３種類で、同一URLテスト、スプリットURLテスト、多変量テストに分けられます。テスト内容によってどの方法が良いかを選択します。

同一URLテスト	同一ページ内の一部の要素を変更し決めた配分比率でランダムに表示し、どの要素がユーザーに刺さるかテストする
スプリットURLテスト	内容の異なるページを用意し決めた配分比率分をランダムでテストページへリダイレクトさせる
多変量テスト	ページ内の複数の要素のテストを実行する際にどの組み合わせが最適か決める

必要サンプルサイズ

設定したサンプルサイズに到達していないにも関わらず結果を判断してしまうことやサンプルサイズを大幅に超えて出た結果は信頼に値する結果にならない可能性があります。サンプルサイズを算出して、そのサンプルサイズを得るのにどれくらいの期間が必要になるのか整理が必要になります。
テストに必要なサンプルサイズを算出するのに「Sample Size Calculator」を使います。

改善ポテンシャル

成功基準(KPI)で設定した内容で改善が成功した場合に与えるポテンシャルを算出します。可能であれば金額で表現できることが望ましいです。

このテストによって改善が成功した場合は月間約30万の売上向上を見越せると判断が可能になります。

改善コスト

仮説で立てた改善案を実施するにあたってテスト実行にかかるコストを算出します。改善が成功した時にそれを定常的にページやアプリなどに実装するのにかかるコストやランニングコストも算出できれば尚良しです。
例えば、改善案の改修には50万円かかり、テストがうまくいった場合、定常実装にかかる費用が100万円でランニングコストが月10万かかる場合、初期コストは150万円で毎月のランニングコストが10万円となります。

ROI

費用対効果は「改善ポテンシャル費用÷改善コスト」で算出できます。ROIは月間単位で見るか年間単位で見るかはケースバイケースになるため状況に合わせて対応が必要になります。
例えば改善ポテンシャル、改善コストであげた例を月間評価にすると、売上30万に対して初期コスト150万であるためROIは20%となり改善効果は赤字となります。しかし年間評価にすると売上360万に対してコスト260万円となりROIは138%と費用対効果は黒字へ転換する想定ができます。

テスト実装

ABテストの設計部分で実施するABテストの内容が決まれば、そのABテストを実施するのに必要な設定を実装していきます。
ABテストの実装は大きく分けて4STEPあります。改善内容のクリエイティブ構成を決めるワイヤーフレーム作成、ワイヤーフレームに則ったクリエイティブ・コード作成、作成した成果物をABテストツールでの実装もしくはテスト対象に対して直接コード実装を行います。

ワイヤーフレーム作成

ABテストの設計で決めた内容を実際にチャネルやコンテンツ(Webサイトやアプリ)に反映するための必要なクエイエイティブや挙動の整理を行いワイヤーフレームにまとめます。
ワイヤフレームを作る際には、Officeツールやデザインツールなどを使い、どこを改修するのか分かりやすい指示書を作成します。

ツール名	特徴
Microsoft Powerpoint (Google スライド)	画像読み込みが可能なため、キャプチャを貼り付けて改善を行いたい領域に対して指示を出せる。また図形作成もできるため新規制作の指示を行う際にワイヤーフレームを作成しやすい。 ただ、ページの大きさに制限があるため、要素を分割しなければいけない場合もある。
Microsoft Excel (Googleスプレッドシート)	画像読み込みが可能なため、キャプチャを貼り付けて改善を行いたい領域に対して指示を出せる。1シートのキャンパスサイズが大きいため複数のページを1つのシートで指示を収めることも可能。
MONJI	WebサイトのURLや画像を読み込ませるだけでオンライン上で修正指示を出すことが可能。 ただ修正指示用のツールのため、新規での作成依頼には向かない。
AUN	MONJI同様で、Webサイトや画像をツールに読み込んで、オンライン上で修正指示を出すことが可能。 AUNも修正指示用のツールのため、新規での作成依頼には向かない。
Adobe XD	Webサイトやアプリなどのワイヤーフレームを作成することが可能。UIキットなどワイヤーフレーム作成に特化した機能が沢山あり、新規での作成依頼も可能。 また、Adobeの他製品との連携も可能なためXD起点でクリエイティブ作成に移行しやすい。

クリエイティブ•コード作成

ワイヤーフレームや修正指示に則る形で既存のクリエイティブの改修や新規でのクリエイティブの作成を行います。クリエイティブには、テキスト、画像、動画、音声と大きく分けて4つに分類されます。画像、動画、音声のクリエイティブを作成する場合は、専用のツールを使って作成することになります。

分類	ツール名	特徴
画像	Adobe Photoshop	写真のレタッチや合成、カラー変更など写真編集が可能。
画像	Adobe lllustrator	ロゴやアイコン、イラストなどグラフィックを作成することが可能。
動画	Adobe Premiere Pro	動画に音やテロップ、独自のアニメーション・グラフィックなどをつけて、元の動画によりクリエイティビティを追加することが可能。
動画	Adobe After Effects	アニメーション化や斬新なエフェクト追加などリッチな映像表現を作成することが可能。
動画	Adobe Animate	インタラクティブなアニメーションをデザインをすることができ、アバター(キャラクター)を作成することも可能。
動画	Adobe Character Animator	自分の顔の表情や身体の動きを利用して、リアルタイムでキャラクターをアニメーション化することが可能。
音声	Adobe Audition	オーディオコンテンツの作成やミキシング、またサウンドエフェクトの作成などが可能。

クリエイティブを作成することができたら、ワイヤーフレームに則る形でページの表示の仕方や挙動の実装を行います。Webサイトやアプリなどの実装が必要な場合は、コーディングやプログラミングの対応が必要になります。コンテンツの改修内容やそのコンテンツに使われている言語を使って、変更を加えていきます。テスト内容がクリエイティブの変更だけの場合、このステップは飛ばされる場合もあります。

ABテストの実装

クリエイティブとコードが作成できたらその内容でABテストが実行できるように実装を行います。ABテストの実装は自身でコードを書いて実装する場合とABテストの専用ツールを使う2パターンがあります。複雑なテストを行う場合は、自身でコードを記載して実装する必要がありますが、フロントエンドの改修のみでABテストが実行できる場合はABテスト専用のツールを使うことで簡易的に実装することができます。

分類	実装方法/ツール名	特徴
コード実装	フロントエンド実装	JavaScriptを活用して、テストページや特定エリアをランダムに割り振ってテストを実行する。 フロントエンドで取得できる情報であれば、特定の情報に絞ってテストの実行もできます。
コード実装	バックエンド実装	PHPなどサーバーサイド言語を活用して、テストページや特定エリアをランダムに割り振ってテストを実行する。 サーバーに蓄積されている情報を活用できるので、特定の顧客に絞ったテストの実行も可能になります。
ツール利用	Google Optimize	ビジュアルエディターを用いて簡易的にテストやフロントエンド言語(HTML、CSS、JavaScriptなど)を使ってテストパターンの作成が可能です。Google AnalyticsやGoogle広告などGoogleサービスと連携をすることで詳細のセグメントを適用することができます。 またテスト配信の結果もツール上に表示されるため容易に結果を把握することも可能です。
ツール利用	Kaizen Platform	クラウドソーシングでグロースハッカーにABテスト案を募れるのが特徴です。自社に制作リソースが無いもしくは経験豊富なグロースハッカーに依頼することで自社では思いつかないテストパターンを作成したい時に活用できるツールです。

まとめ

ABテストは商品やサービスのプロモーションとして非常に有効な手段です。ただしやり方を間違ってしまっては、その効果は発揮できません。ABテストを実行することが目的と化して売上などのKPIに貢献できていない事例も沢山見てきました。
適切な設計をして、適切な実装ができてこそABテストは効果を発揮しますKGI・KPI貢献に役立つ手段として効率よくABテストを使っていただければと思います。