A/B 테스트

#시작하기 전에

• 버전은 두 개예요. 테스트의 한쪽은 항상 시작할 때 라이브 상태인 버전이에요. 다른 쪽은 저장된 버전 중 직접 고른 하나예요. 그러니 먼저 테스트하고 싶은 변경을 만든 다음, 어느 버전을 라이브로 할지 정하세요.
• 실제 방문자. 결과가 의미를 가지려면 버전마다 방문자가 약 100명은 필요해요. 미리보기 주소는 검색 엔진에 노출되지 않아 그만큼 모이기 어렵기 때문에, 대부분의 테스트는 프로덕션 사이트에서 하는 게 좋아요.
• 편집 권한. Editor, Admin, Owner는 테스트를 시작하고 끝낼 수 있어요.
• 조용한 때에 하세요. 무언가 제작 중일 때는 테스트를 시작할 수 없고, 사이트에서는 한 번에 테스트 하나만 실행돼요.

#테스트 시작하기

#방문자를 나누는 방식

Test against live를 누르면 테스트 중인 버전을 볼 새 방문자 비율을 고를 수 있어요. Half (50%), A quarter (25%), A tenth (10%), 또는 5에서 95퍼센트 사이 원하는 비율을 정하는 Custom이에요. 그런 다음 Start test를 누르세요. 상단 띠에 분배 상태가 표시돼요. 예를 들면 “90% see v11, 10% see v12”예요. 비율이 작을수록 과감한 변경에 부담이 적지만, 뚜렷한 결과를 얻기까지 더 오래 걸려요.

방문자는 30일간 유지되는 쿠키 덕분에 처음 본 버전을 계속 봐요. 여는 모든 페이지가 그 버전에서 나오니, 홈페이지를 읽고 떠났다가 다음 주에 돌아와도 같은 버전을 봐요.

#전환으로 집계되는 것

각 방문자는 방문자로 한 번, 전환으로 최대 한 번 집계돼요. 같은 인터넷 주소에서 오는 집계도 시간당 20회로 제한해서, 새로고침으로 테스트 결과를 기울일 수 없어요.

#결과 읽기

스튜디오가 열려 있는 동안 이 띠는 15초마다 새로고침돼요. 버전마다 칸이 있어서 방문자 중 전환된 비율과 “410명 중 18명 전환”과 같은 줄이 표시돼요. 시작할 때 라이브였던 버전에는 “live before the test”라고 표시돼요. 칸 아래 한 줄이 결과를 요약해요:

같은 줄에 Change in conversion(선택한 버전의 성과가 얼마나 나은지 또는 나쁜지를 퍼센트로 표시)과 더 높은 전환율을 낼 Chance도 함께 나와요.

#테스트를 끝내고 이긴 쪽 유지하기

테스트를 끝내려면 버전 하나를 유지해야 해요. 테스트를 시작하고 끝낼 때는 크레딧이 묶이지 않아요. 두 경우 모두 빌드 없이 저장된 버전을 게시하기 때문이에요.

#테스트 중에 잠기는 항목

두 버전이 함께 게시되므로, 새로 게시되는 작업은 하나를 고를 때까지 기다려요. 테스트가 진행되는 동안 할 수 없는 일:

• 변경을 요청하세요(“이 사이트에서 A/B 테스트가 진행 중이에요. 한 버전을 유지하는 것으로 테스트를 끝낸 다음 변경을 요청하세요.”).
• 되돌리기, 다시 실행하기, 또는 Make live 누르기;
• 다른 테스트 시작하기
• File Explorer에서 코드를 저장하거나, Visual Editor에서 게시하거나, Media 탭에서 사진을 Replace할 때
• Apply to the live site, Publish, Back to preview를 사용하세요.
• 프로젝트를 템플릿으로 저장하거나 주소를 바꿀 수 있어요.

질문도 계속 할 수 있어요. 언제든 Briks에 사이트에 대해 물어보세요. 질문하기를 참고하세요.

#실제 예시: 배관공이 두 가지 제목을 테스트해요

Harbour Plumbing은 예시 업체예요. 브리스톨에 있는 두 사람짜리 회사이고, 사이트는 프로덕션 상태예요. 히어로 제목은 “브리스톨 전역의 배관 및 난방 수리”예요. 사장님은 빠르다는 약속을 넣으면 전화가 더 늘 것 같다고 생각해요.