Data Literacy를 올리는 방법(화해 블로그)

해당 내용은 화해의 기술블로그 중 오세창님(데이터팀 리드)의 글 ‘데이터 리터러시(Data Literacy)를 올리는 방법’을 정리한 내용입니다.

1. 데이터 리터러시(Data Literacy)란?

: “데이터를 활용해 문제를 해결할 수 있는 능력”

데이터를 잘 활용한다는 것은,
데이터를 활용해 문제를 잘 정의하고 & 해결할 수 있다는 말이고,
데이터를 잘 활용하도록 만들려면, 데이터/실험 기반 사고방식이 자리잡혀야 하며,
분석 흐름대로 데이터를 탐색할 수 있는 환경이 필요 (supported by 데이터 분석가)

* 기존 문제

: 기존 요구하는 지표 전달를 빠르게 제공하는 것에만 초점을 맞추다보니 아래와 같은 문제 발생

• 문제_1 : 해결하려는 문제와 전혀 상관없거나 효과가 매우 미미한 지표가 요청됨.
• 문제_2 : 특정 문제를 해결하기위해, 관련됐다고 생각된 모든 지표를 살펴보다보니, 되려 의사결정이 어려움.

---[before] 신규 기능 관련 이벤트 성과 측정을 위한 데이터 요청---
  - 전면팝업 데이터
    - 노출수, 클릭수, 노출(유니크), 클릭(유니크)

  - 이벤트 참여 데이터
    - 전체조회수, 유니크조회수
    - 전체참여수, 옵션별 선택 수
    - 일자별 이벤트 참여수
    - 신규유저/기존유저 각 참여자수
    - 이벤트 기간 내 신규 설치수
    - 이벤트 기간 내 신규 가입수

  - 신규 기능 관련 데이터
    - 이벤트 진행 전/후 신규 기능 경험 수치 변화
    - 이벤트 진행 전 1달
    - 이벤트 진행 기간
    - 이벤트 뷰어 & 참여자의 신규 기능 경험 수치   

<center>[after] 신규 기능 관련 이벤트 성과 측정을 위한 데이터 요청</center>
  - 해결하려는 문제
    - 신규 기능에 대한 인지가 부족한 문제

  - 솔루션
    - 신규 기능에 대한 브랜딩 활동을 통해 신규 기능 인지 강화

  - 측정 지표
    - 이벤트 조회자수
    - 이벤트 참여자수
    ** 단 건의 앱 내 이벤트를 통해서는 기능의 사용성을 단기간에 올리기 어려우므로, 장기적으로만 모니터링

1) 해결하려는 문제 (문제정의)
2) 솔루션
3) 측정 지표

2. 데이터/실험 기반 사고 방식 $\star$

* 실험 프로세스 / 실험보드

: 데이터/실험 기반 사고방식이 만들어 지려면, 모든 업무들이 데이터와 실험 기반으로 이뤄지는 환경 구축이 필요했음. 따라서 실제 진행중인 업무들부터, 데이터 기반 사고방식으로 실행되도록 유도함. 이런 방식이 자연스러워지도록,데이터 기반 실험 프로세스 프레임을 도입. 해당 프로세스의 목적은 1) 실험 횟수를 높여 성과 증대의 목표와 함께 2) 데이터 중심 문제 해결능력 배양.

• 1) 해결하려는 문제 ➡️ 문제정의
• 2) 관련 OKR ➡️ 전사 목표와 align 되어있는지
• 3) 측정 지표 ➡️ 문제와 지표가 align 되어있으며, 측정 가능한 것인지
• 4) 검증 기준 ➡️ 성공 여부를 어떻게 판단할 것인지
• 5) 검증 후 변화될 액션 ➡️ 의미없는 액션을 하는게 아닌지
• 6) 결과 ➡️ 검증 기준으로 결과가 나왔는지
• 7) 학습한 점 ➡️ 어떤 학습을 했고, 다음 실험에는 어떻게 반영될 것인지

3. 분석 흐름대로 데이터를 탐색할 수 있는 환경 $\star$

1) 데이터 맵

(a) 데이터 맵 도입 배경

: 그러나 문제를 잘 정의하려면 여전히 분석가와 함께 논의를 해야 하는 어려움이 남아있었음. 때문에 분석가 없이도 가장 중요한 지표에 집중할 수 있도록 전사에서 다루는 중요한 인풋 지표와 아웃풋 지표 간의 관계를 표현한 관계도를 제작·공유함.

(b) 데이터 맵 원칙

: 단순히 모든 지표를 도식화한다고 하면 너무 많은 지표들이 담길 수 있기 때문에 보다 중요한 지표에 집중하기 위해 인풋 지표 설정에 중요한 원칙 두 가지를 설정

• 1) 측정 가능
• 2) 직접적으로 control 가능
• 3) 데이터 관계가 쉽게 이해될 수 있어야함.

2) 대시보드

(a) 대시보드 도입 배경

: 지표 관계를 잘 이해하게 되었다면, 다음은 그 흐름에 따라 지표의 현재 수준을 확인할 수 있는 환경이 필요하였으며, 분석 흐름을 따라가면서 지표들을 탐색할 수 있도록 대시보드 설계하였음. 대시보드를 활용해 분석가가 아닌 구성원들도 중요한 지표 변동과 원인을 파악하는 분석 정도는 스스로, 그리고 빠르게 할 수 있어야 함.

(b) 대시보드 원칙

• 분석 흐름을 따라가면서 지표들을 탐색.
• 최상위 문제를 발견하면, 각 지표와 관련된 하위 지표들이 구성된 분석 대시보드 내에서 원인을 짐작할 수 있어야함.

4. 이 과정을 도와주는 분석가

데이터 분석가(Data Scientist)

: 우리는 분석가의 역할이 단순히 데이터를 추출하고, 분석 내용을 리포팅하는 것에만 그쳐서는 안된다고 생각합니다. 1)문제를 정의하고 2)원인을 분석한 뒤에는 3)액션 아이템까지 도출해 리포트를 제공받은 4)협업팀이 실행에 옮기도록 만들어야 합니다.

  - 제품/비즈니스 성장을 위한 지표 설계 및 대시보드를 개발
  - 제품/비즈니스 문제 해결을 위한 실험을 설계
  - 핵심 지표 모니터링 및 지표 변동의 root cause를 분석
  - 데이터 분석 결과를 바탕으로 실질적인 액션 아이템을 제안
  - 데이터 기반 사고와 실험 활성화를 위한 전사적인 코칭 및 컨설팅 역할을 수행

그리고 매 분기마다 우리가 기대하는 모습을 가장 중요한 OKR로 설정해 모든 분석가의 업무 방향성을 일치 시켰습니다.

KR : 분석가의 산출물로 협업팀/밴드 과제지표 및 전사지표의 성장 또는 중요 의사결정 견인(1인당 월 2회 달성)

데이터 플랫폼

: 분석가뿐만 아니라 많은 구성원들이 빠르게 분석할 수 있으려면 데이터를 빠르게 준비해 사용할 수 있는 구조가 필요합니다.

• 데이터 레이크 : 모든 원천데이터가 적재
• 구조화된 데이터 웨어하우스 : 신속하게 정확한 데이터를 추출
• 데이터 카탈로그 : 레이크/웨어하우스 내에 어떤 데이터가 있는지 쉽게 확인

데이터 웨어하우스와 카탈로그는 분석가들이 실질적인 분석 업무를 빠르게 수행할 수 있도록 도와줍니다. 분석가가 아니더라도 SQL을 알고있는 구성원이라면 본인이 필요한 데이터는 SELECT, FROM, WHERE, GROUP BY 정도만 작성하면 쉽게 얻을 수 있습니다.

데이터 웨어하우스를 통해 분석가의 업무 효율은 비약적으로 상승했고, 본질적인 분석 업무에 더 많은 시간을 할애할 수 있게 되었습니다. 분석파트에서 조직이 성장한 점을 리뷰할 때마다 데이터 웨어하우스 구축은 가장 손꼽히는 변화이자, 업무에 가장 큰 도움을 준 요소라고 말할 정도니까요.

src : 화해의 Data Warehouse를 소개합니다(화해 블로그) - by 최혜림

5. 맺음말

: 앞서 말씀드린 것처럼 저는 데이터 리터러시를 데이터를 활용해 문제를 해결할 수 있는 능력이라고 정의하고 있습니다. 하지만 단순히 구성원들에게 데이터를 보여주는 것만으로 문제 해결력이 좋아지지는 않았습니다. 구성원들이 데이터를 바라보는 올바른 관점을 만드는게 가장 중요했고, 이 관점을 유지·강화 시키기 위한 환경이 필요했습니다.

이때 경영진들의 강한 지지가 환경을 조성하는 데 중요한 역할을 했습니다. 그 뿐만 아니라 화해팀 모두의 노력과 적극적인 참여를 통해 화해팀은 데이터를 활용해 문제를 해결하는데 매우 익숙한 조직으로 변화해왔습니다. 조직 전체의 데이터 리터러시를 높이고 이를 통해 성과들이 만들어지도록, 저희 데이터팀은 더 좋은 환경과 구조들을 만들어나갈 예정입니다.

Reference

[1] 데이터 리터러시(Data Literacy)를 올리는 방법(화해 블로그) - by 오세창