[빅데이터의 기초 지식] 4. BI 도구와 모니터링

---

이 글은 빅데이터를 지탱하는 기술을 읽고 정리한 글입니다.

---

 

 

 

1. 스프레드시트에 의한 모니터링

---

데이터를 살펴보고 싶을 때 사용하는 것이 애드 혹 분석이면, 계획적으로 데이터의 변화를 추적하는 것은 모니터링이다. 데이터는 현재 상황을 파악하기 위한 하나의 도구로 사용할 수 있는데, 자신이 다음 행동으로 무엇을 해야할지 결정하는데 데이터를 살펴볼 수 있다. 

 

만약 데이터의 변화를 모니터링하다가 예상과 다른 움직임이 있다면 현재 상황을 파악하고, 세부 데이터에 대해 깊게 이해를 하여 현재 무슨 상황이 벌어지고 있는지 알아내야 한다.

 

예시를 들어보면 내가 백준 문제를 매일 꾸준히 풀고 있는데, solved.ac의 내 아이디에 대한 티어 변화를 집계한 결과를 가져왔다고 해보자. 근데 해당 데이터를 보면 티어에 변화가 없다는 것을 알 수 있었다. 그러면 다음에 행동할 것은 왜 티어에 대한 변화가 없는지 경험치가 얼마나 올랐는지 확인을 해봐야 한다. 이때에서는 경험치가 올라가지 않은 것을 확인했다. 이 다음엔 최근에 풀은 문제들을 나열해보았는데, 최근에는 쉬운 문제만 풀었기 때문에 상위 난이도 100문제가 전혀 업데이트가 되지 않았다는 것을 알 수 있게 되었다.

---

 

 

 

2. 데이터에 근거한 의사 결정

---

프로젝트의 현황을 파악하기 위한 숫자로 업계마다 중요한 지표인 KPI(Key Performance Indicator)가 자주 이용된다.

 

* 웹 서비스의 KPI 예시

- DAU(Daily Active User): 서비스를 이용한 1일 유저 수

- 계속률(Customer Retention): 서비스를 계속해서 이용하고 있는 유저의 비율

- ARPPU(Average Revenue Per Paid User): 유료 고객 1인당 평균 매출

 

우리가 KPI 모니터링에서 얻고 싶은 것은 데이터의 결과에 따라 자신의 다음 행동이 결정될지의 여부이다. 자신의 행동을 결정할 때 직감에 의지하는 것이 아니라 객관적인 데이터를 근거하여 판단하는 것을 데이터 기반 의사 결정이라고 한다.

---

 

 

 

3. 변화를 파악하고 세부 사항을 이해하기

---

BI 도구는 고속의 집계 엔진을 내장하고 있어 수백만 레코드 정도의 스몰 데이터라면 순식간에 그래프를 보여주고, 읽어 들일 정보를 늘려주어서 시각화할 수 있는 범위가 넓어진다.

데이터의 움직임을 모니터링하기 위한 기본적인 전략은 정기적인 보고를 통해 중요한 변화를 파악하는 것이다. 이후 원인을 알고 싶은 경우에는 원인이 되는 데이터로 돌아와 재집계를 반복하면서 자세히 살펴보는 것이다. 이때 BI 도구가 데이터를 자세히 탐색할 때 힘을 발휘한다.

주의할 점은 항상 이상적인 데이터가 존재할 수는 없으므로 자신이 원하는 집계 결과를 만드려면 시각화하기 쉬운 데이터를 만들어야 한다.

---

 

 

 

4. 수작업과 자동화 할 것을 판별하기

---

BI 도구는 잘 정리된 데이터가 필요하다. 그래서 제대로 설계된 데이터가 없다면 자신이 원하는 화면을 만들 수 없다는 점이 BI 도구의 한계이다.

 

* BI 도구 화면을 자동화하는 방법

자동화를 하려는 경우엔 데이터 마트가 필요하다. 그래서 자주 업데이트되는 데이터와 다수의 사람에게 공유되는 데이터등 중요성이 높은 것부터 차례로 자동화하는 것이 좋다.

 

방법 1. BI 도구에서 직접 데이터 소스에 접속하기

- 장점: 시스템 구성이 간단하다.

- 단점: BI 도구 측에서 지원하지 않는 데이터 소스에는 접속할 수 없다.

 

방법 2. 데이터 마트를 준비하고, 그것을 BI 도구로부터 열기 (가장 좋은 방법)

- 장점: 어떤 테이블이라도 자유롭게 만들 수 있다.

- 단점: 데이터 마트의 설치 및 운영에 시간이 걸린다.

 

방법 3. 웹 방식의 BI 도구를 도입하여 CSV 파일을 업로드하기

- 장점: 스크립트로 자유롭게 데이터를 가공할 수 있다.

- 단점: 데이터의 생성 및 업로드에 프로그래밍이 필요하다.

---