A/Bテスト

#始める前に

• 2つのバージョン。テストの片側は、開始時に公開中のバージョンに固定されます。もう片側は、保存済みのバージョンから選べます。まずテストしたい変更を加えてから、どのバージョンを公開しておくか決めてください。
• 実際の訪問者。それぞれのバージョンに、結果に意味が出るまで約100人の訪問者が必要です。プレビューのアドレスは検索エンジンに表示されず、そこまで訪問者が集まることはほとんどないため、ほとんどのテストは本番環境のサイトで行うのが向いています。
• 編集権限。 Editor、Admin、Ownerはテストを開始・終了できます。
• 少し待ってください。 ビルド中はテストを開始できません。また、1つのサイトで同時に実行できるテストは1つです。

#テストを開始

#訪問者の振り分け方

Test against live を押したら、テスト中のバージョンを何割の新規訪問者に見せるかを選びます。Half (50%)、A quarter (25%)、A tenth (10%)、または 5 から 95 パーセントまで自由に決められる Custom です。そのあと Start test を押します。バーには、たとえば「90% see v11, 10% see v12」のように振り分けの状況が表示されます。割合が小さいほど大胆な変更でも影響が穏やかですが、はっきりした結果が出るまで時間がかかります。

訪問者は、30日間有効なCookieによって、最初に見たバージョンのままになります。開くページはすべてそのバージョンから表示されるので、ホームページを読んで離れ、来週戻ってきた人にも同じバージョンが表示されます。

#コンバージョンとして数えるもの

訪問者は1人につき、訪問者として1回、コンバージョンとして最大1回数えます。また、同じインターネットアドレスからのカウントは1時間に20件までに制限されているため、再読み込みでテストの結果を偏らせることはできません。

#結果を読む

このストリップは、スタジオを開いている間、15秒ごとに更新されます。各バージョンに専用のボックスがあり、訪問者のうち成果につながった割合と、「410人中18人が成果に至りました」のような1行が表示されます。テスト開始時に公開されていたバージョンには「live before the test」と印が付きます。ボックスの下の1行で、結果がまとめられます。

同じ行に、Change in conversion(選んだバージョンの成果が、どれだけ良いか悪いかをパーセントで表したもの)と、そのバージョンの方が成果が高くなる確率を示すChanceも表示されます。

#テストを終了して勝ったほうを残す

バージョンを残すことが、テストを終える唯一の方法です。テストの開始と終了では、ビルドせずに保存済みのバージョンを公開するだけなので、クレジットはかかりません。

#テスト実行中にロックされるもの

両方のバージョンが一緒に公開されるため、新しいものを公開することになる操作は、どちらかを残すまで待機します。テスト中にできないことは次のとおりです。

• 変更を依頼する(「このサイトではA/Bテストが実行中です。どちらか1つのバージョンを残して終了してから、変更を依頼してください。」)。
• 元に戻す、やり直す、または Make live を押す。
• 別のテストを始める。
• File Explorer からコードを保存する、Visual Editor から公開する、または Media タブで画像を Replace する。
• Apply to the live site、Publish、Back to previewを使います。
• プロジェクトをテンプレートとして保存したり、アドレスを変更したりできます。

質問も引き続きできます。サイトについていつでもBriksに質問できます。質問するをご覧ください。

#実例: 配管業者が2つの見出しをテストする

Harbour Plumbingは架空のビジネスで、ブリストルにある2人の会社です。サイトは本番環境で公開されています。トップの見出しは「Plumbing and heating repairs across Bristol」。オーナーは、スピードを約束する言葉を入れたほうが電話が増えるのではと考えています。