施策実行

プロモーション活動を行なっていると「CVRが低い」とか「認知が取れない」など必ず課題が浮き彫りになってきます。その課題を解決するためにチャネルやコンテンツを駆使して、改善活動を行なっていくことになりますが、下手な改善をしてしまうと現状よりも数字を悪くしてしまう可能性もあり、課題を増やしてしまうこともあります。そんな時に役立つ手法がABテストです。ABテストを実施することで、一部のユーザーだけに改善策を試してもらう事ができ、尚且つユーザーの反応をダイレクトに確認することができます。ユーザーの反応を元に最適な改善策を見つけていくことで、今以上に優秀なプロモーションツールと化していくでしょう。ただ闇雲に実施しても良い結果は生まれません。ABテストを実施する際には事前にちゃんと設計をしてから実施する必要があります。特に設計もせずに思いつきでABテストをしてしまうとその結果の良し悪しを間違って判断してしまう可能性もあるため、ABテストの設計から実装までの手順を紹介します。 ABテストの実施手順 ABテストを実施するまでには「ABテストの設計」と「ABテストの実装」の大きく分けて2つの工程があります。課題点に対して改善案を検討し、実際に改善案に沿った形でABテストの実装を行います。 テスト設計 ABテストを実施したいということは現状に課題を感じているもしくは改良の余地があると睨んでいることだと思います。そんな課題点や改良の余地に対して、改善策を考え、改善インパクト、改善コスト、費用対効果からそのテストを実行するか否かを判断することが設計のポイントです。ABテストを設計する際に検討する項目は全部で16項目になります。1つの改善に対して複数の視点から整理することでテスト内容を具体化していきます。 課題現在課題となっており、ABテストの対象としたい問題を記載します。ここに記載している内容がABテストを通して改善する内容になります。仮説課題が生じている要因となっている仮説を記載します。改善案課題の仮説を解消するための改善案を記載します。ここで設定した改善案(オリジナルパターンに勝てると想定しているテストパターン)が実際にABテストとして設定する内容になります。成功基準(KPI)テストパターンの結果を評価する指標と目標数値を設定します。現状の数値がある場合は、その数値からの目標の改善幅も設定します。チャネル分類チャネルはオウンド、ペイド、アーンドの大きく分けて3種類に分けられます。特定のチャネル流入に限定してテストを行う場合は、指定を行います。メディアメディアはチャネルをより細かくした分類です。オウンドではメールマガジンやアプリPUSH、ペイドではGoogle広告やYahoo!広告など複数のメディアがあり、特定のメディアからの流入に限定してテストを行う場合は、指定を行います。デバイスABテストを実施するデバイスを定義します。課題がPC(デスクトップ)とSP両方共に共通するのか、それともSPだけの課題なのかでテストをする対象のデバイスは変わると思います。デバイスは大きく分けて３種類で、PC(デスクトップ)、タブレット、SP(スマートフォン)に分けられます。ページURL特定のページやスクリーンでABテストを行いたい場合は、URLやスクリーン名を指定します。エリアページやスクリーンの中でも特定のエリアのみでABテストを行いたい場合はエリア名を記載します。テスト手法ABテストを行う際に同一URLテスト、スプリットURLテスト、多変量テストの中から選んで指定します。テストパターン数オリジナルと比較する改善案のテストパターン本数を決めます。テスト配分テストパターンで決めたテスト本数とオリジナルのテスト配分を決めます。オリジナルとテストパターン合わせた全パターンを均等に配分するか個別に配信比率を決めるかの2パターンになります。必要サンプル数テストを実施するにあたって結果を出すのに必要な対象人数(サンプルサイズ)を算出します。サンプルサイズが大きくなればなるほどテスト期間が多く必要になりますので、期間なども考慮しながらサンプル数を検討します。改善ポテンシャル改善が成功することで与えるインパクト量(金額)改善コスト改善をすることでかかるコスト。コストにはプロモーション費用である変動費や改善活動に費やした人材の稼動にかかる人件費といった固定費の2種類がある。ROI改善による費用対効果を算出します。テスト設計項目一覧 改善案 改善案のパターンは大きく分けて12分類に分けられます。改善パターンを検討する際のアイディアの軸として利用していただくと改善案も出て来やすくなると思います。 引き算重要でないノイズ要素をカットし目的到達に近づける足し算要素・各種パーツを新たに追加する配置替え重要要素のレイアウト位置を変更し視認性を上げる要素強調重要要素を視覚的に強調し視認性を上げるコピーチェンジコピーテキストを変更しユーザー心理に働きかけるビジュアルチェンジビジュアル画像イメージを変更するUIコンポーネントチェンジ操作ナビゲーション・操作パーツを改修するカラムレイアウトテスト2段組み、3段組みなどを変更する段組レイアウト変更の実験複数要素の最適組み合わせ複数要素×複数バリュエーションで最適な掛け合わせの探求フロー改修開始→確認→完了、等の一連ページの、ページのフロー遷移の実験機能改修各種システム機能を拡張・変更するテストダイナミックチェンジ全く異なるページにガラッと変える大改修テスト改善案パターン一覧 テスト手法 ABテストを実施する際には大きく分けて３種類で、同一URLテスト、スプリットURLテスト、多変量テストに分けられます。テスト内容によってどの方法が良いかを選択します。 同一URLテスト同一ページ内の一部の要素を変更し決めた配分比率でランダムに表示し、どの要素がユーザーに刺さるかテストするスプリットURLテスト内容の異なるページを用意し決めた配分比率分をランダムでテストページへリダイレクトさせる多変量テストページ内の複数の要素のテストを実行する際にどの組み合わせが最適か決めるテスト手法一覧 必要サンプルサイズ 設定したサンプルサイズに到達していないにも関わらず結果を判断してしまうことやサンプルサイズを大幅に超えて出た結果は信頼に値する結果にならない可能性があります。サンプルサイズを算出して、そのサンプルサイズを得るのにどれくらいの期間が必要になるのか整理が必要になります。テストに必要なサンプルサイズを算出するのに「Sample Size Calculator」を使います。 Study Group Design 選択肢内容Two independent study groupsオリジナルパターンとテストパターンの結果を比較するOne study group vs. population一般的な基地の値とテストパターンを比較するStudy Group Designの選択肢の説明 ABテストの場合は「Two independent study groups」を選択します。ABに振り分けられた2つのターゲットユーザーが独立に(他に影響されずに)振る舞うというターゲティングでテストを実施するという仮定のもと、サンプルサイズを抽出します。 Primary Endpoint 選択肢内容Dichotomous(yes/no)テストの結果に対して勝ち、負けで判断Continuous(means)テストの結果に対してオリジナルから平均どれくらい差が生じるか算出Primary Endpointの選択肢の説明 ABテストの場合「Dichotomous」を選択します。成功基準(KPI)に設定した内容を「達成・未達成(yes or no)」で判断するという仮定のもと、サンプルサイズを抽出します。 Statistical Parameters Anticipated Incidence・Group1にコントロール群(現状)のCVRを記載・Group2にテストパターンに期待するCVRを記載・Enrollment ratioはサンプル数の比率を記載(50%対50%なら1、33%対66%なら2とオリジナルに対しての等倍の数値を記載)Anticipated Incidence・Alpha(α)は有意水準。原則5%(0.05)にすることが多い・Powerは検出力。原則80%(0.8)にすることが多いStatistical Parametersの設定項目 ポイント 現状のCVRとテストパターンに期待するCVRの差が大きければ大きいほど必要なサンプル数は少なくなります。多少の差で有意差を求める場合は必要なサンプル数が多くなります。 改善ポテンシャル 成功基準(KPI)で設定した内容で改善が成功した場合に与えるポテンシャルを算出します。可能であれば金額で表現できることが望ましいです。 改善案インパクトの算出方法例 月のページ訪問数が1万人いて顧客単価が3,000円の場合、CVRが1%向上した時に与える改善インパクトは、下記となる。1万人 × ￥3,000 × 0.01 = ¥ 300,000 このテストによって改善が成功した場合は月間約30万の売上向上を見越せると判断が可能になります。 改善コスト 仮説で立てた改善案を実施するにあたってテスト実行にかかるコストを算出します。改善が成功した時にそれを定常的にページやアプリなどに実装するのにかかるコストやランニングコストも算出できれば尚良しです。例えば、改善案の改修には50万円かかり、テストがうまくいった場合、定常実装にかかる費用が100万円でランニングコストが月10万かかる場合、初期コストは150万円で毎月のランニングコストが10万円となります。 ROI 費用対効果は「改善ポテンシャル費用÷改善コスト」で算出できます。ROIは月間単位で見るか年間単位で見るかはケースバイケースになるため状況に合わせて対応が必要になります。例えば改善ポテンシャル、改善コストであげた例を月間評価にすると、売上30万に対して初期コスト150万であるためROIは20%となり改善効果は赤字となります。しかし年間評価にすると売上360万に対してコスト260万円となりROIは138%と費用対効果は黒字へ転換する想定ができます。 テスト実装 ABテストの設計部分で実施するABテストの内容が決まれば、そのABテストを実施するのに必要な設定を実装していきます。ABテストの実装は大きく分けて4STEPあります。改善内容のクリエイティブ構成を決めるワイヤーフレーム作成、ワイヤーフレームに則ったクリエイティブ・コード作成、作成した成果物をABテストツールでの実装もしくはテスト対象に対して直接コード実装を行います。 ワイヤーフレーム作成 ABテストの設計で決めた内容を実際にチャネルやコンテンツ(Webサイトやアプリ)に反映するための必要なクエイエイティブや挙動の整理を行いワイヤーフレームにまとめます。ワイヤフレームを作る際には、Officeツールやデザインツールなどを使い、どこを改修するのか分かりやすい指示書を作成します。 ツール名特徴Microsoft Powerpoint (Google スライド)画像読み込みが可能なため、キャプチャを貼り付けて改善を行いたい領域に対して指示を出せる。また図形作成もできるため新規制作の指示を行う際にワイヤーフレームを作成しやすい。ただ、ページの大きさに制限があるため、要素を分割しなければいけない場合もある。Microsoft Excel (Googleスプレッドシート)画像読み込みが可能なため、キャプチャを貼り付けて改善を行いたい領域に対して指示を出せる。1シートのキャンパスサイズが大きいため複数のページを1つのシートで指示を収めることも可能。MONJIWebサイトのURLや画像を読み込ませるだけでオンライン上で修正指示を出すことが可能。ただ修正指示用のツールのため、新規での作成依頼には向かない。AUNMONJI同様で、Webサイトや画像をツールに読み込んで、オンライン上で修正指示を出すことが可能。AUNも修正指示用のツールのため、新規での作成依頼には向かない。Adobe XDWebサイトやアプリなどのワイヤーフレームを作成することが可能。UIキットなどワイヤーフレーム作成に特化した機能が沢山あり、新規での作成依頼も可能。また、Adobeの他製品との連携も可能なためXD起点でクリエイティブ作成に移行しやすい。ワイヤーフレーム(修正指示書)作成ツール一覧 クリエイティブ•コード作成 ワイヤーフレームや修正指示に則る形で既存のクリエイティブの改修や新規でのクリエイティブの作成を行います。クリエイティブには、テキスト、画像、動画、音声と大きく分けて4つに分類されます。画像、動画、音声のクリエイティブを作成する場合は、専用のツールを使って作成することになります。 分類ツール名特徴画像Adobe Photoshop写真のレタッチや合成、カラー変更など写真編集が可能。画像Adobe lllustratorロゴやアイコン、イラストなどグラフィックを作成することが可能。動画Adobe Premiere Pro動画に音やテロップ、独自のアニメーション・グラフィックなどをつけて、元の動画によりクリエイティビティを追加することが可能。動画Adobe After Effectsアニメーション化や斬新なエフェクト追加などリッチな映像表現を作成することが可能。動画Adobe Animateインタラクティブなアニメーションをデザインをすることができ、アバター(キャラクター)を作成することも可能。動画Adobe Character Animator自分の顔の表情や身体の動きを利用して、リアルタイムでキャラクターをアニメーション化することが可能。音声Adobe Auditionオーディオコンテンツの作成やミキシング、またサウンドエフェクトの作成などが可能。クリエイティブ作成ツール例 クリエイティブを作成することができたら、ワイヤーフレームに則る形でページの表示の仕方や挙動の実装を行います。Webサイトやアプリなどの実装が必要な場合は、コーディングやプログラミングの対応が必要になります。コンテンツの改修内容やそのコンテンツに使われている言語を使って、変更を加えていきます。テスト内容がクリエイティブの変更だけの場合、このステップは飛ばされる場合もあります。 ABテストの実装 クリエイティブとコードが作成できたらその内容でABテストが実行できるように実装を行います。ABテストの実装は自身でコードを書いて実装する場合とABテストの専用ツールを使う2パターンがあります。複雑なテストを行う場合は、自身でコードを記載して実装する必要がありますが、フロントエンドの改修のみでABテストが実行できる場合はABテスト専用のツールを使うことで簡易的に実装することができます。 分類実装方法/ツール名特徴コード実装フロントエンド実装JavaScriptを活用して、テストページや特定エリアをランダムに割り振ってテストを実行する。フロントエンドで取得できる情報であれば、特定の情報に絞ってテストの実行もできます。コード実装バックエンド実装PHPなどサーバーサイド言語を活用して、テストページや特定エリアをランダムに割り振ってテストを実行する。サーバーに蓄積されている情報を活用できるので、特定の顧客に絞ったテストの実行も可能になります。ツール利用Google Optimizeビジュアルエディターを用いて簡易的にテストやフロントエンド言語(HTML、CSS、JavaScriptなど)を使ってテストパターンの作成が可能です。Google AnalyticsやGoogle広告などGoogleサービスと連携をすることで詳細のセグメントを適用することができます。またテスト配信の結果もツール上に表示されるため容易に結果を把握することも可能です。ツール利用Kaizen PlatformクラウドソーシングでグロースハッカーにABテスト案を募れるのが特徴です。自社に制作リソースが無いもしくは経験豊富なグロースハッカーに依頼することで自社では思いつかないテストパターンを作成したい時に活用できるツールです。ABテスト実装例 まとめ ABテストは商品やサービスのプロモーションとして非常に有効な手段です。ただしやり方を間違ってしまっては、その効果は発揮できません。ABテストを実行することが目的と化して売上などのKPIに貢献できていない事例も沢山見てきました。適切な設計をして、適切な実装ができてこそABテストは効果を発揮しますKGI・KPI貢献に役立つ手段として効率よくABテストを使っていただければと思います。

FAQ(よくある質問)を分析してコスト削減・売上貢献する方法

Google Optimizeを使ってABテストを実装する方法

【SEO対策】自然検索から良質な集客を得るための既存コンテンツ改善方法

PageSpeed Insightを使ってページの表示速度を改善する方法

課題解決のために最適な改善策を見つけるABテストの実施方法