Chapter 17. 캠페인 실험의 가치

Skillshop: Explore the Value of Campaign Experiments
상태: 완료
플랫폼 확인: 정답 재제출 후 서버 동기화를 기다려 Skillshop Completed 반영

1. 한 문장 요약

캠페인 실험은 기존 캠페인과 시험 캠페인을 동시에 비교하는 A/B 테스트로, 추가 예산 없이 입찰·검색유형·구조·자산 변경의 효과를 검증한다.

2. 실험 유형

• Video experiments
• Search·Display custom experiments
• Ad variations
• 추천 페이지에서 제안하는 확장검색·목표 ROAS 등의 실험

3. 올바른 실험 설계

• 한 번에 핵심 변수 하나만 바꾼다.
• 시작 전에 가설과 승자를 결정할 단일 KPI를 정한다.
• 원본과 실험을 동시에 실행해 계절성과 외부 변화 영향을 줄인다.
• 50:50 분할은 일반적으로 통계적 유의성에 가장 빠르게 도달한다.
• 대형 캠페인은 준비에 며칠 걸릴 수 있어 시작일을 3일~1주 뒤로 둔다.
• 초기 약 1주의 램프업 기간을 결과 해석에서 제외한다.
• Experiment sync는 원본 변경을 시험 캠페인에 복사하며 기본 활성화된다.
• 성공한 결과는 원본에 적용하거나 새 캠페인으로 전환한다.

4. A/B와 증분성의 차이

Campaign Experiments = 처리 A와 처리 B 비교
Conversion Lift      = 광고가 없었으면 일어나지 않았을 증분 행동 측정

캠페인 실험은 진정한 증분성 테스트가 아니다. 한 사용자가 원본과 실험 양쪽에 노출되지 않는 통제 구조가 필요한 증분성은 Conversion Lift로 측정한다.

5. 시험 포인트와 함정

캠페인 실험의 이점:

• 다양한 최적화와 전략 테스트
• 진정한 A/B 테스트
• 추가 예산이 반드시 필요하지 않음

오답:

• 변경의 진정한 증분성을 측정한다.
• 여러 변수를 동시에 바꾸면 더 빨리 원인을 알 수 있다.
• 램프업 기간을 포함해 즉시 승자를 결정한다.

6. DJI/Gatevision 적용

• 일치검색 대비 확장검색 + Smart Bidding을 실험한다.
• 목표 CPA와 목표 ROAS의 사업성과 차이를 비교한다.
• 제품군별 RSA 메시지나 PMax 자산 전략을 테스트한다.
• 사전에 전환가치 또는 ROAS를 승자 KPI로 정하고 충분한 기간을 확보한다.

7. 검색광고마케터 1급 연결

공통: A/B 테스트, 광고소재 비교, 입찰·키워드 최적화, 통제 변수
차이: 국내 시험은 실험과 지표 해석 원리를, Google 인증은 Experiments 기능·동기화·램프업·Conversion Lift와의 구분을 강조한다.

8. 암기 카드

• 실험 = 원본 vs 시험
• 변수 = 한 번에 하나
• 배분 = 50:50이 빠른 편
• 승자 = 단일 KPI
• 초기 제외 = 약 1주
• A/B ≠ 증분성
• 증분성 = Conversion Lift

9. 확인 문제

캠페인 실험의 이점 세 가지는?

1. 추가 예산이 반드시 필요하지 않다.
2. 다양한 최적화와 전략을 테스트한다.
3. 변경의 진정한 증분성을 측정한다.
4. 진정한 A/B 테스트를 수행한다.

정답: 1, 2, 4 — Skillshop 정답 재확인 완료

10. 10초 복습

한 변수와 한 KPI로 원본·시험을 동시에 비교하되, A/B 실험을 증분성 실험으로 착각하지 않는다.

11. 시각 학습 자료

좋은 실험은 원본과 시험에서 한 가지 변수만 다르게 하고 같은 기간·대상·KPI로 비교한다.

12. 공식 영상 학습

영상: Experiments to test uplift of Performance Max campaigns — Google Ads 공식 채널

• 보기 전: 실험하려는 변수 하나와 성공 KPI 하나를 적는다.
• 볼 때: 비교군과 시험군이 같아야 하는 조건을 확인한다.
• 본 뒤: 실험기간·트래픽 분할·판정 기준·실험 중 금지 변경을 문서화한다.