文面ライブラリで文面を版管理し、A/B テストで勝者を決める
送信タスクの文面ライブラリで文面を作成・編集する手順と、送信フローのステップに 2 つ以上の文面を割り当てて A/B テストを行い、勝者を確定するまでを説明します。
01この画面でできること
送信タスクの詳細画面にある「文面」ページが文面ライブラリです。問い合わせフォームに送る本文は、このライブラリで 1 件ずつ管理します。1 つの文面は記号・文面名・問い合わせ本文を持ち、同じ文面を複数のステップで使い回せます。
文面を編集しても上書きにはなりません。保存すると版(v1・v2 …)が 1 つ上がった新しい文面が作られ、前の版の本文と実績はライブラリに残ります。送信済みの履歴に表示される内容も変わりません。
送信フローの 1 つのステップに 2 つ以上の文面を割り当てると、そのステップで A/B テストが始まります。配分に従って相手ごとに送る文面が振り分けられ、クリック率を比べて勝者を決めます。
02文面ライブラリの見方
左ナビの「文面」を開くと「文面ライブラリ」が出ます。1 行が 1 つの文面の現行版です。
| 項目 | 内容 |
|---|---|
| 記号 | フロー全体で一意の 1〜2 文字です。A から順に空きを自動で採番します。フロー図やステップのパネルでは、この記号で文面を示します。 |
| 文面名 | 一覧や割り当ての画面に出る名前です。「事例訴求型」のように、何を試す文面かがわかる名前を付けます。 |
| 版(v1・v2 …) | いま配信している版の番号です。編集して保存するたびに 1 つ上がります。 |
| 使用中のステップ | この文面を配信しているステップ名です。どのステップにも割り当てていない文面は「未使用」と表示されます。 |
| クリック率・到達 | この文面が届いた件数と、そのうち本文中のリンクが押された割合です。実績がないときは「—」です。 |
古い版がある文面には「過去の版 N」が出ます。押すと版番号・使われていた期間・到達件数・クリック率が並び、「この本文で新規」を押すと、その本文を引き継いだ新しい文面を作れます。
03文面を作成・編集する
- 左ナビの「文面」を開きます。
- 「文面ライブラリ」の右上にある追加のボタンを押します。
- 「文面を作成」で、文面名と問い合わせ本文を入力します。記号は空きから自動で入ります。
- 「作成する」を押すと「文面(記号)をライブラリに追加しました」と表示されます。
文面を作る入り口は 3 つあり、どこから開いたかでボタンの名前と作成後の扱いが変わります。
| 開く場所 | 押すボタン | 作成後の扱い |
|---|---|---|
| 「文面ライブラリ」の追加のボタン | 作成する | ライブラリに追加するだけです。割り当ては各ステップから行います。 |
| ステップの「文面を割り当て」→「新しい文面を作成して割り当てる」 | 作成して割り当てる | ライブラリに追加し、そのステップにそのまま割り当てます。 |
| 「過去の版」の「この本文で新規」、ステップの「この本文で新版」 | 作成する / 作成して割り当てる | 選んだ版の本文を引き継いだ状態でダイアログが開きます。 |
文面を直すときは、ライブラリの行の右にある鉛筆のボタン((文面名)を編集)を押します。「文面を編集」には「ライブラリの文面を編集します。この文面を使っている全ステップに反映され、変更前の集計は履歴として残ります。」と出ます。「保存する」を押すと「(記号)を v(版番号)として保存しました((件数)ステップの配信を切替、v(前の版)の本文と実績は保持)」と表示されます。
04ステップに文面を割り当ててテストを始める
- 左ナビの「送信フロー」を開き、フロー図でテストしたいステップを押します。
- 下のパネルの右上にある「文面を割り当て」を押します。
- 「文面を割り当て」で、追加する文面を選びます。ライブラリにないときは「新しい文面を作成して割り当てる」から作ります。
- 「(記号)(文面名)を割り当てました。次回実行からテストを開始します」と表示されます。
- 設計タブの「−」「+」で配分を調整します。5% 刻みで変わり、残りは他の文面へ自動で振り分けられます。
割り当てダイアログには、そのステップに追加できる文面が記号・文面名・本文の一部・クリック率つきで並びます。まだ配信していない文面のクリック率は「実績なし」です。すでに割り当て済みの文面は出ません。選べる文面がないときは「割り当て可能な文面はすべて使用中です」と表示されます。
パネルの上部には、そのステップの「基準」が出ます。基準は比較のものさしにする文面で、分析タブの差分と信頼度はこの文面との比較です。基準は自動で決まり、画面から選び直すことはできません。
そのステップで過去に使った文面は「このステップで過去に使った文面」にまとまります。テストの確定で外れたものは「テストで配信停止」、新しい版に置き換わったものは「新しい版に置き換え」と表示され、それぞれ「再度使う」「この本文で新版」から戻せます。
05設計タブと分析タブで結果を読む
ステップのパネルは右上の「設計」「分析」で切り替えます。どちらのタブでも、配信中の文面と実績は同じデータです。見せ方だけが変わります。
| タブ | 出るもの |
|---|---|
| 設計 | 文面ごとの本文の一部・配分・到達件数・クリック率と、何ステップで共用しているかです。配分の増減、本文の表示、文面の編集、ステップからの取り外しをここで行います。 |
| 分析 | クリック率の横棒(基準の位置に破線が入ります)・基準との差・信頼度と、配分/送信/到達/クリックの件数です。下には「判定に必要なサンプル」の進捗が出ます。 |
判定は、基準の文面と比べたクリック率の差に検定をかけて行います。信頼度が 95% 以上になると勝者確定です。「判定に必要なサンプル」には、最も到達の少ない文面の件数と、判定に必要な件数が出ます。差が小さいほど必要な件数は増えます。
| テストの状態 | 意味 |
|---|---|
| 未設定 | このステップには文面が割り当てられていません。条件に合致しても送信されません。 |
| 単一配信 | 文面が 1 件だけです。比較する相手がいないためテストは行われません。 |
| サンプル収集中 | 2 件以上を配信中ですが、判定に必要な到達件数にまだ届いていません。 |
| 新しい版の収集中 | 版を上げた直後などで到達 0 件の文面が混じっています。必要なサンプル数は差が見え始めてから算出されます。 |
| 有意差なし | 必要な件数に達しても信頼度が 95% に届きませんでした。差が小さいと判断し、基準に一本化することを推奨します。 |
| 勝者確定(信頼度) | 信頼度が 95% 以上になりました。確定させると「確定済み」に変わります。 |
| 文面に付くバッジ | 意味 |
|---|---|
| 基準 | 比較のものさしにしている文面です。 |
| 勝者(信頼度) | 基準より成績が良く、統計的な差が確認できた文面です。 |
| 停止推奨 | 勝者が出たあとの、勝者以外の文面です。 |
| 配信停止 | 配信が止まっている文面です。確定で外れた文面もここに入ります。 |
| データ未取得 | 到達が 0 件で、まだ比較に使えない文面です。 |
06勝者を確定してテストを終える
勝者が確定すると、ステップのパネルの「次の一手」に「(記号)(文面名)で確定する」が出ます。ヘッダの下の要対応アラートと、概要ページの「改善の進め方」の「確定する」からも同じ操作ができます。
- 「(記号)で確定する」を押します。
- 「(記号)で確定しますか?」で、「(記号)(文面名)を 100% 配信にし、他の文面をこのステップから外します。文面はライブラリに残ります。」を確認します。
- 「確定する」を押すと「(記号)(文面名)で確定しました」と表示されます。
確定するとそのステップは 100% の単一配信に戻り、状態が「確定済み」になります。「次の一手」は「(記号)(文面名)で確定済みです」に変わり、次は経路を増やさずに済む上流か下流の 1 ステップで改善するよう案内されます。外れた文面は「このステップで過去に使った文面」に残ります。
確定は配信の切り替えだけを行います。集計は残るため、確定したあとでも分析タブと文面ライブラリで、それまでの到達件数とクリック率を確認できます。
この記事で解決しなかった場合
この記事の手順で解決しない場合は、開いていた画面と実行した操作を添えてお問い合わせください。