A/Bテストは、2つのパターンのメッセージ配信を送り分けて、どちらが効果的かを実データで確かめる機能です。文面や訴求を変えた2案を比較し、勝ちパターンを次回の配信に活かせます。
A/Bテストとは
A/Bテストは、同じ配信を2つのパターンに分けて送り、開封率やクリック率を比較する機能です。
パターンA（メイン）とパターンB（サブ）に違うメッセージを設定して配信すると、それぞれの結果を集計します。数値が高かったほうが「勝ちパターン」です。感覚ではなく、データにもとづいて改善の方向を決められます。
何を変えると反応が変わるのかが分かれば、次の配信の精度が上がります。マーケティングエージェントに分析を任せながら、判断の根拠としてA/Bテストを活用するのがおすすめです。
エージェントに分析を任せる
配信結果の比較や次の打ち手の検討は、マーケティングエージェントに相談できます。
おまかせモードや相談モードのエージェントは、過去の配信データをもとに「どのパターンが効いたか」「次は何を試すとよいか」を整理します。A/Bテストの結果が出たあとに「この結果をどう読めばいい？」と聞けば、勝ちパターンの傾向や次回への活かし方を提案します。
エージェントが提案した内容は、承認の操作で進めるかどうかを選べます。内容に納得できれば 「実行する」、見送る場合は 「やめておく」 を選びます。自分で細かく設定したい場合は、次のセクションの手動手順を使ってください。
A/Bテストを作成する
A/Bテストは、メッセージ配信の編集画面から作成します。
- 「配信を作成」 で新しい配信を作成するか、既存の配信を開きます
- 編集画面の 「その他操作」 から 「A/Bテストを作成」 を選びます
- 確認ダイアログで 「作成する」 を選びます。同じ画面のメッセージ設定に 「パターンA」「パターンB」 タブが現れ、元の配信内容はパターンAになります
- 「パターンB」 タブに切り替え、比較したいメッセージ内容を編集します
- 内容を確認し、配信を予約または送信します
タブで切り替わるのは、メッセージの内容とプレビューだけです。保存していなくても、タブは自由に行き来できます。テスト送信は、表示中のパターンの内容で届きます。
パターンごとの設定と共通の設定
パターンごとに変えられるのは、メッセージの内容だけです。それ以外の設定は、2つのパターンに共通です。
| 設定 | 扱い |
|---|---|
| メッセージの内容 | パターンごと。メッセージ設定の 「パターンA」「パターンB」 タブで切り替えて編集します。プレビューは選択中のパターンの内容に連動します |
| 名前・フォルダー・配信設定・配信対象・送信者・UTM設定 | 共通。タブの外で1回だけ設定し、両方のパターンに反映されます |
名前は、共通のベース名を1つ付けます。保存すると、それぞれのパターンに「(A)」「(B)」が自動で付きます。
テストできる要素
A/Bテストでは、メッセージそのものの違いを比較します。配信先や配信タイミングは両パターン共通のため、検証するのは主に「内容」です。
| テスト対象 | 比較の例 |
|---|---|
| メッセージの文面 | カジュアルなトーン と フォーマルなトーン |
| 訴求の切り口 | 限定感を訴える と お得感を訴える |
| メッセージの種類 | テキスト と リッチメッセージ |
| 画像やボタンの見せ方 | 画像ありのリッチメッセージ と テキストのみ |
一度のテストで変える要素は1つに絞ると、結果の解釈がしやすくなります。複数の要素を同時に変えると、どの違いが効いたのか判断できなくなります。
結果を確認する
A/Bテストの結果は、配信の詳細画面で確認します。
配信後は、パターンごとの数値を集計します。より反応のよかったほうが 「勝ちパターン」 です。両者に差がないときは 「引き分け」 になります。
| 指標 | 説明 |
|---|---|
| 到達率 | メッセージが届いた割合 |
| 開封率 | メッセージを開いた友だちの割合 |
| クリック率 | メッセージ内のリンクをクリックした友だちの割合 |
| 勝ちパターン | 指標を比較して効果が高かったパターン |
結果はパターンごとの一覧表でも確認でき、配信数や到達数、開封数、クリック数などの内訳を見られます。
A/Bテストを解除する
作成したA/Bテストは、通常のメッセージ配信に戻せます。
編集画面の 「その他操作」 から 「A/Bテストを解除」 を選び、確認ダイアログで 「解除する」 を選びます。タブが消え、パターンAの内容を引き継いだ通常の配信に戻ります。このとき、パターンBに入力した内容は消えます。パターンBの内容を残したいときは、解除する前に別の配信として複製しておいてください。
うまくいかないときは
A/Bテストでつまずきやすいポイントと対処方法をまとめます。
- 結果に差が出ない: パターンAとパターンBの違いが小さすぎる可能性があります。文面の語尾だけでなく、訴求の切り口やメッセージの種類など、反応が変わりそうな要素を大きく変えてみてください。
- パターンBで配信設定が見つからない: 名前や配信先、配信時間、送信者はパターンごとの設定ではなく、タブの外にある共通の設定です。ここで変更すると、両方のパターンに反映されます。
- 判断材料が足りない: 配信対象が少ないと、差が出ても偶然なのか実力なのか判断しづらくなります。十分な人数に届く配信で試すと、結果の信頼性が上がります。