CHI 2021 Paper by Koustuv Saha, Yozen Liu, Nicholas Vincent, Farhan Asif Chowdhury, Leonardo Neves, Neil Shah, Maarten W. Bos

1. AdverTiming Matters
: Examining User Ad Consumption for
Effective Ad Allocations on Social Media
+ CHI 2021
- Koustuv Saha et al.
/ 김소담
석사 과정 김소담
10/06/2021

2. Table of Contents
1 Why This Paper
2 Background
3 Method
4 Results
5 Takeaway

3. 3
01 Why this paper
•휘발적인 행동들이 난무하는 소셜 미디어의 순간적인 행동 데이터 분석
•사용자 클러스터링
•명확한 독립변수와 종속변수(:광고의 효과/성과)
•통계적 의미 도출
알고리즘 경험과 상호작용을
어떤 척도와 행동 데이터로 어떻게 측정하고 정리하는가

4. 4
02 Background
사용자 맞춤형 광고에 순간 순간의 맥락 데이터 고려가 필요함
인구통계학적 정보 기반으로 관심사를 추론하는 알고리즘은 효과적으로 작동하지 않음
•소셜 미디어에서의 광고 노출 사용자 경험 —> 균형 필요
•온라인 광고 추세는 알고리즘 기반 개인화 타겟팅
그러나,
1) 인구통계학 정보(연령, 젠더, 인종 등) 기반으로 관심사를 추론하는 것은 프라이버시 침해,
고정적, 배제적 특성을 지님
2) 모든 사용자는 각기 다른 라이프스타일, 행동, 필요, engagement + 순간 순간의 심리/인지
/생리적 상황을 거치기에 데모그래픽 기반 광고 할당은 효과적으로 작동하지 않음
맥락이 중요하다!
시간대와 in-the-moment 활동에 따라 광고 소비 행동은 다양하게 나타날 것이다

5. 연구 목적
5
02 Background
1. AD TIMINGS AND EFFECTIVENESS
: 사용자가 선호하는 시간대에 광고를 보여주는 것의 효과를 탐구
2. USER BEHAVIOR AND AD EFFECTIVENESS
: 플랫폼 상의 in-the-moment 사용자 행동에 따라 광고 효과가 어떻게 달라지는 지 탐구
3. EFFICACY OF OUR INSIGHTS
: 위의 두 가지 문제로부터 도출한 인사이트에 의한 광고 할당 simulation실험의 효과를 측정
: 최적의 광고 타이밍은? 언제, 누구에게 광고를 추천할 것인가?

6. 스냅챗 Discover Feed에 추천되는 광고 소비와 관련 행동 분석
6
03 Method
•미국 젊은이(18-25)들이 많이 사용하는 멀티미디어 콘텐
츠 기반 온라인 소셜 플랫폼 스냅챗
•휘발성 콘텐츠(주로 숏비디오, 이미지, 텍스트 등)을 다른
이들과 공유하고 상호작용함
•추천 콘텐츠가 있는 Discover Feed (인스타그램 모아보
기 피드와 유사) ; 보거나 스킵하거나 이어지는 추천 콘텐
츠 자동 재생
•Discover Feed 안에 광고가 배치됨 ; 보거나, 스킵하거나,
swipe up(=click)

7. Discover Feed 사용자 7만 8천명 표집 후 행동 데이터 수집
7
03 Method
•상관관계를 분석한 행동 데이터 : Duration / Activity / Interactivity / Interaction Diversity
/ Distractedness / Extra-socialness
•세션 정의 : 스냅챗 앱을 시작하고 종료할 때까지(15초 이상 deactive)
•연구 기간 (2019.12.17 ~ 2020.02.24) 세 달동안 적어도 하루에 한 번 이상 접속한 10만명의
사용자 임의 표집
—> Discover Feed를 사용한 78,187명 추출 —> 세 달동안의 행동 데이터 수집

8. Results
8
04
시간대별로 광고 소비 양상을 이해하기 위해 예비 조사를 실시함
•종속변수 광고 효과(AD Effectiveness) 정의
Ad Reception : 총 광고 지속 시간 대비 시청 시간
CTR (Click-Through Rate) : 광고 클릭율
•사용자들의 광고 수용 정도는 시간대에 따라 다양하게 나타남
•행동 데이터 분포로 사용자를 클러스터링(k-means)한 후 각 사용자 클러스터별 시간대에
따른 광고 수용도(평균)를 분석함 (히트맵 찐할수록 수용도 높음)
•클러스터링 없이 모든 사용자의 광고 수용도는 시간대 안에서 큰 변화 없지만, 각 사용자 클
러스터는 시간대 별/안에서 각기 다른 패턴을 보임
광고 수용도
행동 데이터 분포로 사용자 클러스터링(k=20)

9. 베이스라인 기간(3주) : 선호하는 시간대 도출
Results
9
04
유사 실험(Quasi-experiment) 진행
: 통제 집단과 실험 집단을 나누고 선호하는 시간대에서의 광고 효과를 탐구함
RQ1. AD TIMINGS AND EFFECTIVENESS
실험 환경 조성X, 바텀업 실험..
•각 사용자의 시간대별, 요일별 광고 수용도를 산출
•각 사용자의 광고 수용 “Preferred Hours” 도출
—> 이를 이후 효과를 검증할 처치(treatment)라고 함
3주 6주
2020.01.10
2019.12.17 2020.02.24

10. 3주 6주
2020.01.10
2019.12.17 2020.02.24
Results
10
04
유사 실험(Quasi-experiment) 진행
: 통제 집단과 실험 집단을 나누고 선호하는 시간대에서의 광고 효과를 탐구함
RQ1. AD TIMINGS AND EFFECTIVENESS
실험 환경 조성X, 바텀업 실험..
•행동이 벌어진 데이터 수집 후 베이스라인 기간에서의 시간대
별 수용도 패턴과 측정 기간에서의 시간대별 수용도 패턴이 얼
마나 유사한가?
•(베이스라인 기간 - 측정 기간)의 유사도로 실험 집단 사용자(유
사도 높음), 통제 집단 사용자(유사도 낮음) 분류
통제집단
실험집단
측정 기간(6주) : 선호하는 시간대에서의 광고 효과 측정

11. Results
11
04
RQ1. AD TIMINGS AND EFFECTIVENESS
•처치(treatment) 경향성 점수로 사용자 층(stratum)을 92개로 나눔
•같은 층에 속한 사용자들은 독립 변수 이외의 변수(노출 광고 수, 세션 수 등 41개의 공변인) 분포가
비슷함
• 같은 층에 속한 실험집단 사용자- 통제집단 사용자 매칭 후 처치의 효과 + 광고 수용도 비교
(실험 집단 16,003명 - 통제 집단 15,682명)
유사 실험(Quasi-experiment) 진행
: 통제 집단과 실험 집단을 나누고 선호하는 시간대에서의 광고 효과를 탐구함
실험 집단이
더 높은 광고 효과를 보임

12. Results
12
04
RQ1. AD TIMINGS AND EFFECTIVENESS
유사 실험(Quasi-experiment) 진행
: 통제 집단과 실험 집단을 나누고 선호하는 시간대에서의 광고 효과를 탐구함
사용자 층별 광고 수용도 (실험 집단 결과/통제 집단 결과)
: RTE 값이 1 이상 —> 실험집단의 수용도가 더 크다
선호하는 시간대에 광고를 더 접한 실험 집단과
그렇지 않은 통제 집단의 광고 수용도는 아주 다름

13. Results
13
04
RQ2. USER BEHAVIOR AND AD EFFECTIVENESS
6개의 사용자 행동 데이터와 광고 효과 간의 상관관계를 선호 시간대
광고 할당 여부에 따라 검증함
•“더 선호하는 시간대”의 1)짧은 지속시간 2)활발한 활동 3)활발한 상호작용 4)높은 상호
작용 종류 다양성 5)높은 집중도 6)특별한 소셜활동의 특성을 지닌 세션에서는 광고 할당
을 줄이기를 추천
•“덜 선호하는 시간대”의 1)긴 지속시간 2)활발하지 않은 활동 3)활발하지 않은 상호작용
4)낮은 상호작용 종류 다양성의 특성을 지닌 세션에서는 광고 할당 늘리기를 추천

14. Results
14
04
RQ3. EFFICACY OF OUR INSIGHTS
광고 노출 정도 균형을 위한 새로운 광고 할당 시뮬레이션 실험 시행함
•광고 과다 노출 사용자의 광고양을 줄이고, 낮은 정도로 노출된 사용자의 광고양을 늘리
는 새로운 광고 분배를 시뮬레이션
1)베이스라인 할당 ex. 과다 노출 사용자의 지속시간 짧, 활동 활발 등의 특성 세션 광고양 10% 감소
2)선호 시간대 기반의 할당 ex. 과다 노출 사용자의 덜 선호 시간대 광고양 10% 감소
3)세션 활동 기반의 할당 ex. 임의로 n개의 세션을 추출해 광고양 10% 감소
•각 사용자가 노출된 광고량을 노멀라이징(광고
콘텐츠 수 / 사용자가 시청한 총 콘텐츠 수)
•분포 양 극단의 사용자 표집

15. Results
15
04
RQ3. EFFICACY OF OUR INSIGHTS
•모든 시뮬레이션의 광고 노출의 분포 : 표준 편차가 모두 감소 —> 균형있는 광고 할당
•광고 가치의 분포 - 유의미한 증가 : 세션 활동 기반 광고 할당은 2.78% 증가, 선호 시간
대 기반 광고 할당은 7.09% 증가
광고 수용도 + 한 세션의 광고 수로 산출
광고 노출 정도 균형을 위한 새로운 광고 할당 시뮬레이션 실험 시행함

16. 16
04 Discussion
행동데이터를 분석하는 Observational Study는 “진정한 인과관계”를 추론할 수 없음
•한계점 : 광고의 내용(콘텐츠)를 고려하지 않음
•플랫폼에서의 ‘관찰된 사실’ = 행동 데이터만 고려하여 진행한 유사 실험
•모든 관찰 연구에서는 “진정한 인과관계”를 추론할 수 없음
•본 연구 역시 광고의 효능 (구매전환, 실사용 여부)을 측정할 수 없고 관찰된 광고 효과만을
정량화할뿐

17. 17
06 Takeaway
1) 행동의 세션을 나누기 —> 사용자 그룹 클러스터링 —> 논리적인 인사이트 도출의 과정
을 배웠다
2) 실험을 하지 않고, 자연스러운 행동을 수집한 데이터로 거꾸로 실험 환경을 조작하고 변수
를 통제하는 방법론 (+ 검증에 검증을 거쳐 논리를 탄탄하게 robustness of findings)