UPDATED. 2019-08-25 11:03 (일)
입맛 맞는 통계만 골라 정부 공격하는 보수언론
입맛 맞는 통계만 골라 정부 공격하는 보수언론
  • 이원섭 IMS Korea 대표 컨설턴트
  • 승인 2019.06.03 09:57
  • 댓글 0
이 기사를 공유합니다

통계수치 마법에 빠지지 말라

[인사이트코리아=이원섭 IMS Korea 대표 컨설턴트] ‘조삼모사(朝三暮四)’라는 고사성어가 있다. <장자>의 ‘제물론’에 나온 이야기로 춘추전국시대에 저공이라는 사람이 원숭이를 길렀는데 원숭이들에게 먹이(도토리)를 아침엔 3개, 저녁에 4개 준다고 했다. 그러나 원숭이들이 싫어해 그럼 아침에 4개, 저녁에 3개를 준다고 했더니 원숭이들이 좋아했다는 이야기로 잔술수로 상대방을 현혹시키는 것을 빗대는 말이다. 즉 아침에 3개, 저녁에 4개를 주나 아침에 4개, 저녁에 3개를 주나 먹이의 갯수는 똑같지만 숫자놀음에 속는다는 것이다.

글쓴이가 하는 일이 IMC(Integrated Marketing Communication, 통합 마케팅 커뮤니케이션)이다 보니 브랜드나 고객에 대한 양적, 질적 측정과 분석하는 일이 많다. 특히 마케팅 커뮤니케이션 환경이 급속히 웹으로 옮겨가면서 측정이 예전보다 더 정확하고 편리해졌다. 따라서 측정의 기본상 통계 수치에 집중하게 되고 또 그 수치에 얽매이게 되는 것도 사실이다.

이번 글은 조삼모사처럼 수치에 대한 오류와 함정, 인사이트에 대한 생각을 나누려고 한다. 지난 30년간 실제의 경험들에 의한 정성적인 부분도 많이 포함되어 있는 주관적 판단이 있어 이견도 있을 것으로 생각된다.

최근에 글쓴이는 이메일 아이디를 해깅 당한 적이 있다. 그 이후 하루에도 수 십 건의 카페 가입 메일이 오는 것이었다. 아마도 이메일 마케팅 업체에서 해킹을 한 것으로 보였다. 이메일 마케팅 대행업체들이 회원수를 급속히 증가시켜주고 비용을 받곤 하는데 여기에 내 아이디를 사용한 것이었다.(수많은 허위 아이디가 도용되었을 것이다) 의뢰 업체는 회원수가 갑자기 급증했다고 좋아했을 것이다. 한동안 카페를 탈퇴하느라 애를 많이 먹었다.

 

 

의뢰했던 업체는 카페의 회원수가 늘었다고 만족하며 마케팅 효과가 클 것을 기대했을 것이다. 그러나 그 숫자는 하등 소용이 없는 허구의 숫자이며 당연히 기대했던 마케팅 실제 효과도 전혀 없는 것이었다.

허구의 숫자

또 이런 경우도 있었다. 지인 업체가 오랫동안 키워드 검색 마케팅을 하고 있었는데 어느 날부터 갑자기 클릭수가 대폭 늘어났다고 한다. 과거 경험으로 문의 전화나 영업적 성과가 있을 것으로 기대했는데 전혀 없었고 비용만 나갔다고 한다. 검색 수는 증가했으나 실제 효과는 하나도 없어 사용자가 필요해 클릭했는지 아니면 허수인지 의심스러웠다고 한다. 인위적인 작업, 즉 조작이 의심 가지만 대행사가 아니라고 하니 믿을 수밖에. 다음 달 키워드 광고를 중단했다고 한다.

이런 경우 자동완성검색어, 연관검색어, 실시간 검색어의 클릭이 우리 사이트로의 영업 유입을 측정할 수 있는 수단이 없으니 확인할 수가 없다. 또 검색어로부터의 유입이 성과로 어떻게 연결되는지도 측정할 수 있는 방법이 있으면 좋겠다는 생각을 했다고 한다. 회원수 증가, 클릭률 증가에 집착하며 그 증가율에 따른 마케팅 효과 기대를 다시 생각하게 하는 최근의 두 가지 사례다.

이런 말이 있다. “통계 수치는 단순 정보이고 자료이다. 지식이나 지혜가 아니다.”

<통계의 함정>이란 책이 있다.(저자 : 게르트 기거렌처, 발터 크래머, 토마스 바우어) 이 책에는 저자들이 제시하는 각종 통계에서 쏟아져 나오는 실수와 오류, 조작 사례들을 통해 우리가 얼마나 허위정보에 압도돼 살고 있었는지, 확률과 통계에 얼마나 무심했는지를 깨닫게 해 준다. “우리 저자 일동은 여러 가지 예를 통해 이런저런 베일을 들쳐보거나 완전히 걷어내어 사실을 ‘밝히는 데’ 기여하고 싶다. 동시에 우리는 이런 형태로 퍼져 있는 이른바 수학에 대한 무지를 치료할 처방전을 쓰려고 한다.”(책머리에서)

책은 현실의 실상을 보고 싶은 대로 보는 것(확증편향)이 아니라 있는 사실 그대로를 볼 수 있는 깨달음을 준다. 통계 수치 뒤에 숨어 있는 의도된 속임수를 꿰뚫어보고 팩트의 가치를 판단할 수 있으며 진실된 정보와 허위정보를 구별해내는 법을 제시하고 있다.

이런 현상은 최근 우리나라 언론의 보도 행태에도 나타나고 있는데 어떤 기준을 적용하느냐, 어느 수치를 사용하느냐에 따라 팩트가 왜곡되기도 결과가 달라질 수도 있다. 또 기준값에 따라 지표, 순위가 뒤바뀌기도 한다. 아래 표가 문재인정부 경제성과에 대한 통계 수치인데 함정을 잘 보여주는 예다.  

어느 수치를 적용하느냐에 따라 경제 지표가 좋다는 시각을 가질 수도 있고 경제 지표가 나쁘다는 참사라는 시각도 가질 수 있다. 먼저 정부 발표를 비난하는 측에서 내세운 수치를 보면 지난해 OECD 36개국 중 18위이고 경제성장률도 1996년 이후 최저 순위라며 경제 실정이라는 주장이다.

반면 정부 측이 제시하는 통계에 따르면 우리나라 경제성장률은 지난해 2.7%로 36개 OECD 국가의 성장률을 기준없이 단순 순위만 따지면 18위가 맞지만 국민소득 3만달러 이상 국가라는 기준에서 보면 전체 6위라고 한다. 더욱이 3050클럽 기준으로는 2위라고 한다. 

여기서 <통계의 함정> 저자들이 말한 대목이 떠오른다. “통계 수치 뒤에 숨어 있는 의도된 속임수를 꿰뚫어보고 팩트의 가치를 판단하라, 진실된 정보와 허위정보를 구별해라.”

진실된 정보 vs 허위정보

숨어 있는 악의적 의도가 아니라면 어느 정도 경제규모를 갖춘 국가들과 상대 비교하는 게 타당했다. 즉 정부 발표대로 비교할 만한 대상과 비교해 1인당 국민소득이 3만 달러 이상인 21개 선진국들과 비교했어야 한다는 점이다. 우리나라가 선진국인 프랑스(29위), 독일(31위), 영국(34위), 이탈리아(35위) 등과 비교해 훨씬 높다고 해야 하며 일본(36위)이 최하위를 차지했다고 보도하는 것이 옳았다. 

이처럼 통계는 같은 값을 가지고도 정반대의 결과를 도출하는 마술을 부린다. 글쓴이는 과거에 정부부처, 기관, 지자체 그리고 기업들의 마케팅 커뮤니케이션 컨설팅과 코칭을 하면서도 이런 통계 수치에 대한 객관적 논리나 근거를 스스로 마련하기에는 너무 어렵다는 생각을 했다.

또 각종 논문이나 전문 서적 그리고 전문가들이 주장하는 통계 수치들이 얼마나 허구인가를 느끼면서도 위의 경제지표 도표처럼 작위적으로 해석해 제시했었다. 물론 위처럼 통계 수치가 거짓은 아니지만 비교 기준을 잘못잡아 숨겨진 의도 결과로 유도했던 것이다. 이런 통계 양적 수치에 집착하는 것은 아주 잘못된 것이다.

예전에 KOTRA의 웹사이트 이메일 마케팅 프로모션을 한 적이 있었는데  1만 명에게 이메일을 보내 답장 이메일이 300건 정도 밖에 안되냐(반응률 3% 정도)는 질책을 받은 적이 있었다. 우리가 어렸을 때부터 배웠던 고정관념인 수, 우, 미, 양, 가식 평가와 백분율 몇 %의 수치에 익숙해져 있어 적어도 미 정도는 넘어야 보통이고 70% 정도는 되어야 기본이라는 인식을 가지고 있다. 평가적 잣대(기준)가 잘못되었다.  

당시 세계적 시장조사 전문기관인 가트너사 자료에 따르면 이메일 마케터들이 옵트-인(사전 동의받은) 이메일 클릭률이 보통 6~8% 가량이고 KOTRA처럼 옵트-아웃(동의받지 않은) 이메일은 기껏해야 1%의 반응률을 얻을 수 있다는 통계 수치가 있었다. 이 기준에 의하면 약 3배 정도의 우수한 성과를 달성한 것이었다. 그러나 그들 기준에서 3%는 말이 안되는 성과였던 것이다. 이것이 통계 수치의 함정이다. 기준의 오류다.

통계의 함정 책에서는 이런 사례도 든다. 유방암 검사를 받은 50세 이상의 여성 1000명 중 10년이 지나 사망한 숫자는 4명 정도, 검사를 받지 않은 여성 중에는 5명 사망, 결과적으로 1000명의 여성이 유방암 사망자 수를 1명 줄이기 위해 10년 동안 검사를 받았다는 이야기가 된다.

이 검사 결과를 보여줄 때는 대부분 ‘20% 감소’(5명에서 4명으로)라는 수치를 말한다. 왜냐 하면 상대적 리스크 감소(20%)가 절대적 리스크 감소(1000명 중 1명 감소, 0.1% 포인트)보다 당연히 더 깊은 인상을 주기 때문이다. 만약 1000명에서 1명 감소한 것을 강조했다면 검진으로 목숨을 구할 수 있다는 주장이 설득력을 가질 수 없을 것이다. 

오늘날 사회는 숫자와 확률로 표현되고 의미를 전달하지만 이 통계 수치에는 위의 예처럼 많은 거짓 정보를 담을 수 있다. 따라서 통계의 허구와 함정의 의도성을 제대로 파악하지 못하면 상상할 수 없는 부작용 초래한다. 교묘한 표본을 이용해 기만하려는 자의 의도에 끌려 다닐 수 있다. 통계의 함정 저자들은 통계왕국에서 쏟아져 나오는 실수와 오류, 조작의 사례들을 살피다 보면 우리가 얼마나 허위정보에 압도돼 살고 있었는지, 확률과 통계에 얼마나 무심했는지를 깨닫게 된다고 했다. 

기업들의 경우도 통계의 오류나 함정에 자주 빠진다. 우리 제품의 대상 고객 기업이 약 150만개인데 우리 능력으로는 전체 중 5%의 능력이 있지만 최소로 잡아 겨우 1%만 가져도 1만5000, 따라서 각 고객의 월 매출이 10만원만 되어도 월 15억원 매출이 가능하다고 단순 판단한다.

이런 판단으로 과거 중국에 진출했던 기업들이 얼마나 많은 실패를 경험했나? 4차 산업혁명시대에는 정확한 예측도 어렵고 비교 수치도 투입되는 대로, 예전대로 응답(반응)이 일어나던 선형의 데이터가 아니다. 선형적 관계를 가정하고 판단하던 마인드로는 스스로를 함정에 빠뜨리는 위험에 처할 수 있다. 안다고 말하기에는 너무 다르게 나타나는 비선형(nonlinear) 사고와 마인드도 같이 가지고 판단해야 한다.

과거처럼 단순한, 단편 프레임으로 바라보면 안된다. 융합(convergence)은 물론이고 결합, 교차의 복잡한 프레임으로 보려고 노력해야 한다. 그래야만 오류와 함정에 빠지지 않는다. 초연결 빅데이터 시대에 맞는 멀티 프레임, 복합 프레임을 가져야 한다.

이제 새로운 시각과 냉철한 마인드로 통계를, 수치를 판단해야 한다. 데이터들을 제대로 보겠다는 생각과 분석, 파악할 수 있는 눈이 빅데이터 시대에 빅데이터를 만들 수 있다. 통계 수치가 필요한 것이 아니고 그 지식과 지혜의 인사이트(insight, 통찰)가 필요하다.

끝으로 게르트 기거렌처, 발터 크래머, 토마스 바우어 공동 저자들이 말하는 통계를 대하는 바람직한 태도를 정리한다. 일명 정보 왜곡과 조작에 성공적으로 대처할 수 있는 황금률이다. 

1. 각각의 통계를 만드는 사람이 누구인지, 그가 거기서 노리는 목표가 무엇인지 항상 의문을 품을 것.
2. 상관관계와 인과관계를 절대 혼동하지 말 것.
3. 제로 리스크 환상, 즉 모든 리스크를 완전히 배제하려는 시도를 피할 것.
4. 퍼센트의 바탕에 주목할 것. 무엇에 대한 퍼센트인가?
5. ‘과학적으로’ 또는 ‘유의미한’이라는 형용사의 남용을 조심할 것.
6. 표본조사에서는 표본의 대상이 누구인지, 그리고 누가 대상이 아닌지를 주의할 것.
7. 증가율을 절대 산술적 수치로 생각하지 말 것. 60% 이상과 50% 이하의 평균은 5% 이상이 아니다.

 

인사이트코리아, INSIGHTKOREA