언론이 표본오차 무시하고 보도하면, 예측 대부분 빗나가
여론조사 업체도 표본오차 개념을 명확힌 한 보도자료 배포해야

<사진=픽사베이>
▲ <사진=픽사베이>

2016년 4월. 이변이 일어났다. 모두의 예상을 깨고 집권 여당인 새누리당이 총선에서 참패한 것이다.

당시 누구도 새누리당의 참패를 예상하지 않았다. 야권은 더불어민주당과 국민의당으로 분열돼 있었고, 여당은 분열되지 않았기 때문이다. 선거는 흔히 구도와 바람이라고 이야기한다. 선거 구도 자체만 놓고 보면 여당은 패배할 수 없는 선거를 치르고 있었다. 

수도권의 경합지역인 경우 수천표 차이로 당락이 좌우되곤 한다. 국민의힘 총선 후보가 몇 천 표만 갈라놓아도, 더불어민주당 후보는 우수수 낙선해야 할 처지였다. 

이런 전망은 여론조사를 통해 뒷받침되었다. 각 언론사는 자체 여론조사 결과를 바탕으로 대부분의 지역에서 여당인 새누리당이 총선에서 이길 것이라고 예측했다. 

그런데 막상 뚜껑을 열어보니 결과는 180도 달랐다. 왜? 왜 이런 일이 벌어졌을까? 주목해야 할 점은 표본오차이다. 

당시 실시된 여론조사는 대부분 500샘플이었다. 예를 들어 서울 서초갑 지역구에서 어떤 후보가 우세를 보이고 있는지 알아보기 위해 여론조사를 실시하면, 500명에게만 누구를 지지하는지 물어봤다는 이야기다. 

예를 들어 서초갑에서 A 후보 지지율이 43.2%로 조사되고, B후보의 지지율이 36.9%로 나왔다고 하자. 그러면 대부분의 언론은 A후보가 6.3% 포인트 차로 앞서고 있다고 보도한다. 맞는 말일까?

여기서 언론사와 기자는 크나큰 실수를 저질렀는데, 바로 표본오차의 개념을 무시했다는 점이다. 500명을 대상으로 여론조사를 실시하면 표본오차는 ±4.4% 포인트가 된다. 

이렇게 설명해도 대부분의 사람들이 무슨 말인지 이해를 못할 것이다. 

표본오차가 ±4.4%라는 말은 A 후보의 실제 지지율이 8.8% 포인트 정도 차이가 날 수 있다는 이야기다. A 후보의 지지율이 47.2%에서 39.2% 사이라는 뜻이다. 

그럼 B후보의 지지율을 표본오차를 적용해서 살펴보면 어떻게 될까? B후보의 지지율은 40.9%에서 32.9%사이가 된다. 

A 후보의 실제 지지율은 40%이고, B후보의 지지율은 40.9%여서, 사실은 A후보가 뒤지고 있을지도 모른다는 뜻이다. 그러나 누가 실제로 앞서고 누가 실제로 뒤지고 있는지 ‘통계학’적 인 관점에서는 알 수없으므로, 언론이 정확한 보도를 하려면 ‘오차범위 안에서 접전을 벌이고 있다.’고 표현해야 한다. 

이렇게 설명했지만, 여전히 이해가 힘든 독자들이 있을 것이다. 어쩔 수 없이 비유를 들어야 한다. 비유가 정확한 것은 아니지만, 개념을 이해하는데는 도움이 될 수 있다. 

자, 우리 앞에 한근(600g)을 측정할 수 있는 저울추가 있다고 가정해보자. 그리고 우리가 측정해야 할 물건이 3개 있다고 가정해보자. 하나는 600g, 다른 하나는 610g, 마지막 하나는 620g이다. 

이 세 개의 물건을 저울에 달아보자. 세 개 모두 ‘한 근’으로 측정될 것이다. 측정 단위가 한 근이므로. 

세 물건의 무게 차이를 정확히 알아내려면, 다양한 저울추를 준비해야 할 것이다. 100g 짜리 저울추, 10g 단위 저울추, 1g 단위 저울추가 각각 준비되어야, 정확한 무게를 측정할 수 있을 것이다. 

마찬가지로 여론조사를 실시할 때도 저울추(표본오차)를 정확히 하지 않으면, 진실과 다른 결과에 도달하게 된다. 문제는 여론조사를 실시하는 기관은 기본적인 사실을 무시한 보도자료를 만들어 내고, 이를 보도하는 언론도 ‘저울추’가 무엇인지 모르는 상태에서 진실과 먼 사실을 보도하고 있다는 점이다. 

표본오차 무시하는 여론조사 기관의 보도자료

지난 22일 KSOI가 배포한 보도자료의 일부. 
▲ 지난 22일 KSOI가 배포한 보도자료의 일부. 


지난 22일 KSOI에서 배포한 보도자료를 보고 상당한 충격을 받았다. 아니 어떻게 이런 보도자료를 배포할 수 있단 말인가? 어안이 벙벙했다. 

자료를 보면, 서울에서 윤석열 국민의힘 후보의 지지율은 42.6%(11월22일)로 일주일 전(11월15일) 52.5%보다 상당히 하락한 것을 알 수 있다. 

그런데 KSOI는 서울 지역 유권자 몇 명을 대상으로 지지율을 조사했을까? KSOI가 조사한 유권자 수는 190명이다. 190명을 대상으로 여론조사를 실했을 때 표본오차는 대략 ±7%정도 된다. 

즉 지난 22일 실시한 여론조사에서 윤석열 후보의 실제 지지율은 49.6%~35.6%사이에 있다는 말이다. 실제로는 윤 후보의 지지율이 올랐는지 내려갔는지 알 수 없다는 이야기다. 

그런데 KSOI에서는 ‘하락’이라는 표현을 사용했다. 사용해서는 안될 단어를 사용한 것이다. 

지난 22일 KSOI가 배포한 보도자료를 보면, 오차범위에 대한 개념이 전혀 적용돼 있지 않았음을 알 수 있다. 
▲ 지난 22일 KSOI가 배포한 보도자료를 보면, 오차범위에 대한 개념이 전혀 적용돼 있지 않았음을 알 수 있다. 


이런 오류 투성이인 보도자료를 배포하는 여론조사 기관은 KSOI뿐만이 아니다. 수없이 많은 여론조사 업체가 이런 ‘엉터리’ 보도자료를 배포하고 있다. 수많은 여론조사 업체가 이런 엉터리 보도자료를 배포하고 있음에도, KSOI 보도자료를 펼쳐보고 충격을 받은 이유는, KSOI가 우리 사회에서 지니고 있는 ‘공신력’ 때문이다. 

KSOI가 상당한 공신력을 지니고 있기 때문에, KSOI에서 엉터리 자료를 배포하더라도, 대부분의 사람들이 의심하지 않고 곧이 곧대로 믿는다는 뜻이다. 

여론조사를 보도하는 기자들은, 이런 식의 엉터리 보도자료를 받으면, 여론조사 업체에 항의를 해야 한다. 도대체 어떻게 오차범위를 무시한 자료를 배포할 수 있느냐고. 

그러나 우리나라 언론에서는 이런 일이 일어나지 않고 있다. 세상은 아는 만큼 보인다고, 기자들도 여론조사에 대해 아는 게 없으니, 배포한 자료에 어떤 문제점이 있는지 알지 못하는 것이다. 

이런 엉터리 언론 보도 관행을 바로 잡으려면 ‘여론조사 보도 심의위원회’ 같은 기구라도 꾸려야 할 판이다. 통계학이 수백년 동안 쌓아온 학술적인 규범을 무시하고 여론조사를 보도하는 언론에는, 여론조사 관련 내용을 보도하지 못하도록 하는 패널티라도 매겨야 한다는 뜻이다. 

우리나라 여론조사 업체는 부채도사인가?

10년 가까운 시간이 흘렀지만, 아직도 머릿속에 떠나지 않는 여론조사가 있다. 지난 2012년 대선 과정에서 한 업체가 실시해 발표한 여론조사이다. 

이 업체는 더불어민주당 대선 후보 경선 과정에 대해 여론조사를 실시해 발표했고, 그 결과는 실제 경선 결과와 상당히 유사했다. 이 업체는 실제 경선 결과와 여론조사 결과가 상당히 유사하다며, 여론조사의 정확성에 대해 자랑하는 보도자료까지 배포했다. 

그런데 자료를 아무리 봐도 납득이 되지 않았다. 500명을 대상으로 실시한 여론조사도 오차범위의 한계 때문에 실제 결과를 예측하는데 실패하곤 했다. 지난 2014년 총선이 이를 입증한다. 

하지만 이 업체는 불과 19명, 59명 등 불과 수 십명을 대상으로 여론조사를 실시하고도 ‘정확히’ 예측했다. 

2012년 리서치뷰에서 배포한 보도자료의 일부. 불과 열 댓명 또는 30~40명만을 대상으로 여론조사를 실시했음에도 불구하고, 실제 경선 결과와 상당히 유사한 조사 결과가 나왔다. 
▲ 2012년 리서치뷰에서 배포한 보도자료의 일부. 불과 열 댓명 또는 30~40명만을 대상으로 여론조사를 실시했음에도 불구하고, 실제 경선 결과와 상당히 유사한 조사 결과가 나왔다. 

나는 이 자료를 보면서 이런 생각을 했다. 이게 과학적으로 말이 되는 이야기인가? 이 업체는 여론조사를 실시한 것이 아니라, 부채도사에게 의뢰를 한 것은 아닌가?

부채도사에게 의뢰해서 이 정도의 정확도를 얻어낼 수 있다면, 우리나라에서는 이제 여론조사를 실시할 필요가 없다. 

돈만 많이 들고, 실제 결과를 예측하는 데 한계가 있는 여론조사를 왜 실시해야 할까? 부채도사에게 물어보면 되는데. 


 

SNS 기사보내기

기사제보
저작권자 © 폴리뉴스 Polinews 무단전재 및 재배포 금지