2 つのメールテンプレートを実際に送信して、どちらが高い開封率またはクリック率を出すかを統計的に判定する機能です。 少ないサンプル数でも信頼できる判定を行う ベイジアン判定 を採用しており、 24 時間以上経過した送信データに対して「B が A より優れている確率」を算出します。
「アプリ設定 → A/B テスト」から作成・管理します。
利用の流れ
- A テンプレートと B テンプレートを別々に公開状態で用意する（件名・本文・差出人名・リンクなどを変えたもの）
- A/B テスト画面で「新しい A/B テスト」を押して設定
- 「開始」ボタンでテスト実行状態に
- 送信時、設定した比率で A/B が自動で振り分けられる
- 送信から 24 時間経過後、ベイジアン判定が走り勝者を決定
- 勝者決定後の動作に従って処理（置換 / 非置換 / 上限まで継続）
設定項目
| 項目 | 説明 |
|---|
| テスト名 | 管理画面で識別する名前 |
| A テンプレート / B テンプレート | 既存の公開済みテンプレートから 2 つ選ぶ。A はベース、B はバリアント |
| 判定指標 | 「開封率」または「クリック率」のどちらか。クリック率を選ぶ場合、本文中にクリック追跡が可能なリンクが必要 |
| B の分配比率 | 1〜99%。デフォルト 50（50/50）。慎重にロールアウトしたい場合は 10 などの低い値も可 |
| 送信上限 | 任意。指定すると、その件数に達した時点でテストを自動終了。未指定なら有意差が出るまで継続 |
| 勝者決定後の動作 | - 置き換える: 勝者の内容を A テンプレートにコピー（以降は勝者の内容のみで送信）
- 置き換えない: A テンプレートは変更せず、以降は A で送信
- 送信上限まで継続: 有意差が出ても送信上限に達するまで A/B 分配を継続
|
説明既存の公開済みテンプレートから 2 つ選ぶ。A はベース、B はバリアント
説明「開封率」または「クリック率」のどちらか。クリック率を選ぶ場合、本文中にクリック追跡が可能なリンクが必要
説明1〜99%。デフォルト 50（50/50）。慎重にロールアウトしたい場合は 10 などの低い値も可
説明任意。指定すると、その件数に達した時点でテストを自動終了。未指定なら有意差が出るまで継続
説明- 置き換える: 勝者の内容を A テンプレートにコピー（以降は勝者の内容のみで送信）
- 置き換えない: A テンプレートは変更せず、以降は A で送信
- 送信上限まで継続: 有意差が出ても送信上限に達するまで A/B 分配を継続
判定ロジック（ベイジアン）
一様な事前分布（Beta(1,1)）を使い、各バリアントの成功率の事後分布から 「B が A より優れている確率」を Monte Carlo で推定します（10,000 サンプル）。 この確率が 0.95 以上なら B 勝利、0.05 以下なら A 勝利、 それ以外は判定保留として継続します。
送信上限に達したタイミングで有意差が出ていない場合は「引き分け」として終了します。
24 時間以上経過した送信のみを判定に用いるため、送信直後の未開封データは 統計に含まれません。これにより「開封される時間的余裕が十分にある送信」のみで正当な比較が行われます。
実行中の挙動
- A テンプレートを送信する全ての経路（個別送信 / バルク送信 / シナリオメールのステップ）で、自動で A/B に振り分けられる
- テスト実行中は A / B 両方のテンプレートが 編集ロック される。編集したい場合は先にテストを中止
- 結果ページで現時点の送信数・開封/クリック数・ベイジアン確率がリアルタイム更新される（30 秒間隔）
中止・手動完了
- 中止: 勝者記録なしで終了。中止したテストは 再開不可。再度テストしたい場合は新規作成する
- 手動完了: 途中で勝者を手動指定して終了。自動判定より早く結論を出したい場合に
ヒント
- 開封率を測るにはピクセルが読み込まれる必要があるので、HTML メール中に画像が必須
- クリック率を測るには本文中にリンクが必要。リンクがないとクリックが常に 0 となり判定できない
- B の分配比率を 10% 程度にしておくと「万一 B が失敗しても被害を 10% に抑えられる」ため、大規模配信のカナリアテストに使える
- サンプル数が極端に少ない場合、判定は長時間保留される。明確な差を早く見たい場合は「送信上限」を設定して強制終了