본 보고서는 <월간중앙> 11월호 필자의“[심층분석] 오락가락 여론조사를 검증한다 : 이 방송 다르고, 저 신문 다르고 도대체 누굴 믿지?”기사 원고를 월간중앙의 양해하에 수정한 보고서이다.

 

1. 매일 쏟아지는 여론조사, 신뢰도는 낮아지는 역설

 

매일 대선 관련 여론조사가 쏟아진다. 2012년 대통령 선거 여론조사는 과거와 다른 특징이 하나 있다. 2일 혹은 3일 주기로 전체 목표 샘플을 균등하게 나누어 매일 한 부분씩 새로 모집하여 기존 샘플을 대체하는 (남아있는 샘플과 합해 다시 평균을 내는) 일일 순환평균(daily rolling average) 조사방식이 많이 도입됐다. 여기에 매월 정기조사나 그 때 그 때 발표되는 조사, 필자의 소속기관이 주관하는 동일응답자 대상의 변화를 추적하는 패널조사 등 그 어느 때보다 조사방법도 다양해지고, 그 때 그 때의 이벤트에 따른 여론변화를 발표하고 있다.

 

언론사들이 선거 여론조사를 진행해 놓고도 후보 지지율을 제대로 발표하지 못했던 1980년대 말 민주화 초기상황과 비교하면 격세지감을 갖게 한다. 여전히 투표 일주일 이내 여론조사 공표금지 조항이나 출구조사 거리제한 조항 등 해결해야 할 조사 규제 문제는 있지만, 이젠 하루가 멀다하고 언론을 통해 여론조사 관련 정보를 접할 수 있다. 여론조사 물량이 민의를 대변하는 수준을 보여준다고 가정한다면 이번 대선은 역대 그 어떠한 선거보다 제대로 민의를 반영할 수 있는 환경에서 치러지는 선거이다.

 

물량이 넘친다고 정확성도 따라 높아질까? 여론조사 방법이 다양해지고 정보량이 많아지는데 후보 선택시 여론조사 결과를 활용한다는 유권자는 오히려 줄어든다. 심지어 여론조사 결과를 불신하는 목소리는 더 높아지는 역설적 상황이 조성된다. 실제로 EAIㆍSBSㆍ중앙일보ㆍ한국리서치 공동 선거패널조사 결과를 보면 후보 선택에 여론조사 결과 보도를 활용했다는 응답이 2006년 지방선거만 하더라도 44.6%에 달했다. 이후 2007년 대선과 2008년 총선, 다시 2010년 지방선거에 이르면서 27.5%까지 떨어지고 있다.

 

[그림1] 최근 선거에서 “후보선택 시 여론조사결과 영향 받았다”고 응답한 비율(%)

 

자료: EAI·SBS·중앙일보·한국리서치 공동 선거패널조사(2006-2010)

 

2. 혼란스러운 조사결과

 

최근 대선여론조사 보도를 보면 일반 유권자들에게 혼선을 빚는 사례들을 다음 몇 가지유형으로 정리해볼 수 있다.

 

일일조사의 조사기관별 차이

 

최근 대선 여론조사결과 보도를 보면 유권자들에게 혼선을 주는 사례들을 몇 가지 유형으로 정리해볼 수 있다.

 

첫째, 같은 시기에 실시된 여론조사가 기관별로 차이가 나는 경우다. 이번 대선에서 일일순환평균 조사를 주기적으로 발표하는 <한국갤럽>, <아산정책연구원ㆍ리서치앤리서치(R&R)>, 의 10월 11일자 조사 결과([표1] 참조)가 대표적인 예다. 한국갤럽이 10월 8~10일 3일간 실시한 여론조사를 보자. 양자대결에서 박근혜 새누리당 후보는 49%를 얻었고, 안철수 무소속 후보는 45%에 그쳤다. 박 후보(51%)는 문재인 후보(42%)도 여유있게 앞질렀다. 야권단일후보 선호도 조사에서는 문 후보가 49%로 35%에 그친 안 후보를 크게 앞섰다.

 

그러나 같은 시기 아산정책연구원과 리서치앤리서치 조사에서는 양자대결에서 안, 문 후보가 모두 박 후보를 앞서는 것으로 나타났다. 안 후보(50.6%)가 박 후보(41.7%)보다 9%p 가량 더 얻었고, 문 후보(48.2%) 또한 박 후보(44.3%)에 4%p 가까운 우위를 보였다. 반면 야권 단일후보 선호도에서는 안철수 39%, 문재인 39%로 대등한 결과가 나왔다.

 

JTBC와 리얼미터의 10월 9일, 10일 양일간 조사 결과도 아산정책연구원 조사결과와 비슷하게 박 후보가 안 후보에 밀리는 것으로 나타났다. 43%(박 후보) 대 49%(안 후보), 45%(박 후보) 대 47%(안 후보)였다. 단일후보 선호도에서는 42% 대 35%로 안 후보가 문 후보에 7%p 앞서는 것으로 나타나 차이를 보였다.

 

[표1] 10월 11일 발표 주요 일일조사 결과 및 조사 방법론 차이

 

자료: 한국갤럽 [데일리정치지표] 2012년 10월 8~10일 조사 결과 , JTBC․리얼미터 [2012선거 일일 여론조사],

아산정책연구원 홈페이지 및 YTN 뉴스인 [아산정책연구원 여론조사]

주: 볼드는 오차범위를 넘어선 차이, 빨간색은 우위 후보

 

혼선을 빚은 추석 민심 조사

 

둘째, 정치권의 관심을 집중시킨 추석 민심 조사도 10개 언론기관별로 들쭉날쭉했다. 각 언론에서는 추석 민심 변화를 추적하고자 추석 직후인 10월 1일부터 3일 사이에 하루 혹은 이틀에 걸쳐 여론조사를 진행([표2])했고, 앞서 언급한 일일정기 순환조사도 실시했다.

 

우선, 10개 언론기관 조사 중 9개 조사는 양자대결에서 안 후보가 박 후보를 앞섰다. 그중 5개 조사(MBCㆍ한국리서치, 한국일보ㆍ한국리서치, JTBCㆍ리얼미터, 시사저널ㆍ리얼미터, 뷰앤폴ㆍ리서치뷰)에서 안후보가 박 후보를 오차범위를 넘어선 우위를 보였고, 4개 조사(조선일보ㆍ미디어리서치, 아산정책연구원ㆍ리서치앤리서치, 동아일보ㆍ리서치앤리서치, 헤럴드경제ㆍ리얼미터)에서 오차범위 내에서 안 후보가 앞서 나갔다. 반면 국민일보ㆍ글로벌리서치 조사에서만 박 후보가 오차범위내에서 안 후보를 따돌렸다.

 

반면 박 후보 대 문 후보 대결에서는 2개 조사(뷰앤폴ㆍ리서치뷰, 시사저널ㆍ리얼미터)만 문 후보가 박 후보에 오차범위를 넘은 우위를 점했고, 5개 조사(MBCㆍ한국리서치, 한국일보ㆍ한국리서치, 헤럴드경제ㆍ리얼미터, JTBCㆍ리얼미터, 아산정책연구원ㆍ리서치앤리서치)는 문 후보의 우위가 오차범위 내에 있는 것으로 나타났다. 반대로 박 후보가 앞선 조사는 3개 기관인 데 이중 조선일보ㆍ미디어리서치, 동아일보ㆍ리서치앤리서치 조사는 오차범위 내, 국민일보ㆍ글로벌리서치 조사는 오차범위를 넘어선 결과였다. 대체로 오차범위 내 조사가 많았고, 순위가 엇갈린 조사들도 있어 다소 혼란스러웠던 것은 사실이다.

 

[표2] 추석 직후 각 언론사 실시 조사결과 비교

 

주: 볼드는 오차범위를 넘어선 차이, 빨간색은 우위 후보

 

동일시점, 동일기관이 실시한 조사 간 차이

 

셋째, 추석 직후 각종 대선 여론조사 보도 중 동일 기관의 조사도 발표 언론에 따라 차이가 나면서 혼란을 가중시켰다.

 

리서치앤리서치가 10월 1일부터 3일사이 실시한 여론조사를 보자. 10월 2일 실시한 여론조사는 동아일보가, 10월 1일부터 3일까지 실시한 여론조사는 아산정책연구원이 발표했다. 안 후보가 앞선 박, 안 후보 양자대결에서는 동아일보 4.5%p, 아산정책연구원 2.0%p 차로 큰 차이는 없었다. 그러나 박 후보, 문 후보 양자 대결에서는 동아일보에서는 박근혜 47.4% , 문재인 44.5%로 박 후보가 우위였던 반면, 아산정책연구원 일일정기조사에서는 박 후보 42.9%, 문 후보 44.5%로 순위가 뒤바뀌었다.

 

리얼미터가 10월 3일 실시한 시사저널 발표자료와 10월 2~3일 실시한 JTBC 일일정기조사에서도 적잖은 차이가 발견된다. 리얼미터 조사는 박 후보 대 안후보 , 박후보 대 문 후보 양자대결에서 순위가 바뀌지는 않았지만 격차는 상당히 크게 나타났다. 먼저 박 후보 대 안 후보의 경우 JTBC조사에서는 박 후보 44.9%, 안 후보 50.0%로 5.1%p 차에 그쳤지만, 시사저널 조사에서는 박 후보가 37.7%를 얻어, 51.5%를 기록한 안 후보에게 무려 13.8%p나 뒤졌다. 박 후보, 문 후보간 가상대결에서도 JTBC조사에서는 박 후보 47.2%, 문 후보 47.7%로 초박빙이었는데 시사저널 조사에서는 38.6%(박 후보) 대 45.6%(문 후보)로 격차가 7%p나 됐다. 역시 박 후보 지지율만 보면 8.6%p 차이가 난다.

 

이에 비해 2일에 조사하고 3일 저녁 발표된 MBC 조사와 4일 발표된 한국일보 조사를 담당한 한국리서치 조사는 상대적 일관성을 보였다. 한국일보(박 후보 41.1%, 안 후보 49.7%), MBC(박 후보40.8%, 안 후보 47.7%) 모두 양자대결에서 안 후보가 오차범위를 넘어선 우세를 보였다. 박, 문 후보 양자대결에서도 한국일보, MBC 모두 문 후보가 오차범위내에서 박 후보를 앞질렀다.

 

결과적으로 10월4일 전후의 추석 민심조사, 10일 전후의 조사에서 동일조사기관에서 조차 적지않은 편차가 발생했다. 물론 이러한 조사결과 비교가 나왔다해서 특정 조사에 결정적 하자가 있다거나 혹은 그렇지 않은 조사기관이 더 믿을만하다고 단정한 근거는 없다. 나아가 여론조사 방법론 일반에 대한 불신이 확산되는 것도 바람직 하지않다. 다만 유권자들은 여론조사 및 보도의 신뢰성에 의문을 가질 법은 하다. 같은 여론조사기관의 조사결과임에도 매체에 따라 후보의 순위가 바뀌는 경우 유권자들은 혼란스러울 따름이다.

 

[그림2] 10월 4일 유사시점 동일기관에 의한 조사 결과 차이

 

사례1. 10월 4일 발표 동아일보 조사 및 아산정책연구원 조사결과

 

 

주: 동아일보 조사는 10월 2일 1000명, 아산정책연구원조사는 10월 1~3일 1000명 조사

 

사례2. 10월 4일 발표 JTBC/리얼미터 일일조사 및 시사저널/리얼미터 당일조사

 

 

주: JTBC 조사는 10월 2-3일 1500명, 시사저널 조사는 10월 3일 1000명 조사

 

사례3. 10월 4일 발표 한국일보/한국리서치 당일조사 및 MBC/한국리서치 당일조사

 

주: 양 조사 모두 10월 2일 1000명 면접원 전화조사 (유선 50%+휴대전화 50%)

 

3. 무엇이 문제인가?

 

이러한 여론조사 및 보도 과정에서 혼란이 가중되는 이유는 무엇인가? 무엇보다 조사방법상의 문제를 지적할 수 있다.

 

자의적인 조사방법

 

필자는 조금 과장해서 표현하면 한국 선거여론조사 방법론은 무정부상태라고 부르고 싶다. 자의적인 조사방법이 난무하고 있다는 점에서 문제가 적지 않다. 한국선거여론조사는 2010년 지방선거를 거치면서 일종의 조사방법에서의 전환기를 맞이하고 있다고 해도 과언이 아니다. RDD(random digit dialing) 임의번호추출 방식이 도입되고 가구전화 이외에 휴대전화 조사를 병행하거나 아예 휴대전화 조사로 급격하게 바뀌었다. 이러한 변화는 지난 2010년 6ㆍ2 지방선거에서 한나라당의 우위를 점쳤던 여론조사가 판판이 빗나가면서 여론조사 방법론에 대한 근본적인 반성의 산물이다.

 

2011년 이전까지 국내 대부분 여론조사기관들은 KT 가구전화 등재번호부 내에서 표본을 무작위적으로 추출하던 방식을 사용해왔다. KT 가구전화 등재부에서 번호를 추출할 경우 070으로 시작하는 KT이외의 전화 가구나 전화번호 정보 공개를 원치 않는 가구번호는 표집틀(sampling frame)에서 원천적으로 배제된다. 더구나 최근 일인 가구를 중심으로 가구전화를 보유하지 않고 휴대폰만 가진 개인이 늘면서 이들 역시 여론조사 표집틀에서 원천적으로 누락된다. 이렇게 여론조사 표본을 뽑는 표집틀에서 배제된 가구와 개인이 전체 대상의 절반을 넘는 것으로 알려져 있다. 따라서 기존의 조사방식은 표집된 표본들이 전체 유권자를 고르게 대표해야 한다는 ‘대표성’의 원칙을 침해하는 할 가능성을 원천적으로 갖고 있는 방식임은 분명하다.

 

이에 따라 KT가구전화 중에서 조사대상을 추출하는 대신 임의로 번호를 추출해 KT에 등재되지 않은 가구를 표집대상에 포함시키는 RDD 방식이 대안으로 도입되고, 여기에 휴대전화 조사방식을 도입하는 조사도 늘어났다.

 

문제는 RDD 도입방식과 물론 휴대전화 도입이 실질적인 대안이 되는 지에 대한 검증이나 논의가 전혀 안된 상태에서 각 조사기관이 차별화된 조사방법을 경쟁적으로 내놓기 시작했다는 점이다. 앞서 언급한 조사기관중 한국갤럽과 리서치뷰는 100% 휴대전화 RDD 방식을 채택하고, 한국리서치나 미디어리서치 등은 가구전화 RDD방식과 휴대전화 RDD 조사방식을 50%씩 혼용하고 있다. 일일조사를 진행하고 있는 리얼미터는 80% 가구전화와 20% 휴대전화 RDD 방식을 채택하고 있다. 문제는 현재 상황에서는 휴대전화 비율 100%, 50%, 20% 등 어느 것도 이론적으로 검증될 수 없다는 데 있다.

 

100% 휴대전화 조사방법은 휴대전화 보유비율이 늘었다고는 하지만 저소득, 고연령층에서는 여전히 휴대전화를 보유하지 않은 유권자들이 있기에 다른 차원의 표본 대표성 문제를 유발시킨다. 반대로 두 대 이상 중복 보유자의 경우 한 대를 가졌거나 아예 가지지 않은 유권자에 견줘 과대 대표될 가능성이 크다 . 가구전화와 휴대전화 조사를 병행할 경우 가구전화 없이 휴대전화만을 보유한 유권자의 전체 분포가 알려지지 않은 상황이어서 그 혼합의 비율은 조사기관의 자의적 판단에 따라 정해지고 있다.

 

뿐만 아니라 휴대전화 응답자 중에서 가구전화 보유자의 경우 조사에서 배제하는 게 원칙이나 이 원칙이 얼마나 지켜지는 지도 의문이다. 원칙적으로 휴대전화 조사는 가구전화 없이 휴대전화만을 보유한 유권자 층을 대표하고자 도입됐는데 실제 통계가 없다. 따라서 특정 응답자들이 과대대표 되거나, 과소대표되는 문제를 근원적으로 차단할 수 없다. 야박하게 평가하면 현재의 조사방법은 가구전화 대표성 문제를 해결하는 대가로 휴대전화 대표성 문제를 새로 안게 된 상황이라 할 수 있다.

 

잘못된 속설 확산 : “휴대전화/비등재가구 RDD 조사가 친 진보적인가?”

 

이렇게 졸속으로 조사방법이 전환하는 데는 선거저널리즘도 한몫했다. 2011년 1월 아산정책연구원이 처음으로 KT등재가구 전화조사, 비등재가구 전화조사, 휴대폰 조사를 비교한 결과를 발표한 이래 언론들은 이에 대한 충분한 검증과 확인 없이 휴대전화 및 비등재가구 전화조사로의 전환했다. 아산정책연구원의 조사에서 KT등재가구 전화조사에서는 대통령 지지율이 48%인 반면, 비등재가구 전화조사에서는 42%로 나타났다. 이러한 결과 가지고 비등재가구 전화가 친야, 진보성향이라는 해석이 제기되었다. 이는 야당 숨은 표의 존재를 입증한 것으로 이해되었다. 이후로 “KT 등재가구보다는 비등재가구와 가구전화 없이 휴대전화만 보유한 개인이 친야, 친진보적이며, 이들 숨은 표 때문에 지방선거에서 여론조사 예측이 틀렸다”는 주장이 언론을 통해 대대적으로 유포됐다.

 

[표3] 등재가구/비등재가구 응답자 국정지지율 차이와 각 조사별 세대응답자 구성(%)

 

 

이러한 결과를 곧바로 등재가구와 비등재 가구조사의 차이로 해석하는 것은 문제이다. 첫째, 1000명 조사 기준이면 6%포인트 차이는 통계적 오차범위이다. 즉 두 집단의 응답비율의 차이가 유의미한 차이라고 볼 수 없는 수준인데 당시 언론저널리즘은 이를 실질적인 차이로 과대해석했다. 둘째, 두 집단의 지지율 차이가 조사방식의 차이가 실제 드러나지 않은 매개변인 역할을 한 것은 아닌 지 검토할 필요가 있었다. 즉 KT가구전화부의 표본의 사회적 특성과 비등재가구전화 혹은 휴대전화조사 표본의 사회적 특성이 일치하는 조건에서도 차이가 나는지 확인해야 한다. 동일한 조건의 응답자들이, 예를 들어 같은 20대라도 KT전화번호부에서 추출된 20대는 보수성향이 강하고, 휴대전화 혹은 비등재 가구에서 추출한 20대는 진보성향이 강한 것으로 입증되었을 때 휴대전화, 비등재가구 전화가 진보적이라는 가설이 입증될 수 있는 것이다.

 

그러나 등재전화조사 응답자는 고연령층이 많이 표집되고, 비등재전화 조사에서는 저연령층이 과대대표된 결과다. 특히 30,40대의 경우 등재가구 응답자가 각각 11.5%, 19.2%로 전체 평균에 못 미치고 반대로 60대 이상에서는 29.5%가 등재가구로서 전체 평균을 웃돈다. 결국 등재가구전화=친여, 비등재가구ㆍ휴대가구전화=친야 성향을 보이는 것은 실제 조사방법의 차이라기보다는 등재가구에서 친여성향의 고연령층을 많이 추출하고, 비등재가구에서 ‘친야성향의 연령층’을 과대대표한 결과인 셈이다. 결국 두 조사결과에서 나타나는 정치적 태도의 차이는 조사방법의 차이가 아닌 세대효과이라고 보는 편이 타당했을 것이다.

 

이러한 패턴은 휴대전화, 비등재 가구, 가구등재가구 조사결과를 비교한 2011년 3월의 아산정책연구원 조사결과([그림3])를 봐도 확인된다. 가중치를 부여하기 전 표본 구성을 보면 휴대전화, 비등재가구전화에서는 2030세대가, 가구등재가구조사에서는 5060세대가 과대대표되고 있었고, 유권자 세대구성비에 비례한 가중치를 부여한 결과 당시 조사를 담당했던 미디어리서치 휴대전화조사나 리서치앤리서치 휴대전화조사는 물론 리서치앤리서치 등재가구전화조사 간 국정지지율 차이는 오차범위내로 별다른 의미를 찾을 수 없었다.

 

[그림3] 휴대전화, 가구전화별 대통령 지지율 차이(%)

 

 

자료: 아산정책연구원 3월 보도자료(휴대전화는 미디어리서치, R&R 조사 동시에 진행)

 

그럼에도 당시 언론이나 관련업계에서는 2010년 여론조사 신뢰도 위기의 원인이 “휴대전화ㆍ비등재가구에 야권 숨은 표가 있다”는 속설에 있음에 큰 의문을 품지 않았다. 이후 충분히 검증되지 않은 조사방식들이 준비도 없이 야권 숨은 표를 찾을 수 있는 방식으로서 RDD방식과 휴대전화 병행 혹은 100% 휴대전화방식이 불과 1년 만에 KT가구등재번호 조사 방법을 완전히 대체한 상태에서 2012년 총선과 대선을 맞이하게 된 것이다. 지금 KT가구등재번호 조사 방법이 사라진 후 여론조사의 신뢰도 위기는 해소되었고, 야당의 숨은 표를 잡겠다고 도입된 휴대전화 조사나 비등재가구 조사는 기대한 효과를 보고 있는가? 그러나 현재 조사결과들을 보면 꼭 그렇지 많은 아닌 것 같다. 실제로 100% 휴대전화 방식을 사용하는 한국갤럽 조사결과를 보면 휴대전화비율을 부분적으로만 포함한 여타 기관의 조사결과보다 여당인 박근혜 후보의 경쟁력이 비교적 높게 평가되는 것으로 나온다. 반대로 100% 휴대전화방식으로 조사를 하는 다른 조사기관은 지난 4ㆍ11 총선 직전 조사결과를 발표하며 가구전화조사를 병행하는 다른 조사방식에서 포착되지 않은 6%의 야권표가 있어 야당이 유리할 것으로 예측한 바 있다. 정작 선거는 새누리당의 승리로 끝났다.

 

ARS/IVR 조사는 미국갤럽이 쓰는 방식?

 

또 다른 쟁점은 소위 면접원 대신 ARS(자동응답시스템) 조사 혹은 IVR(양방향음성서비스ㆍInteractive Voice Response) 조사로 불리는 저가의 ‘자동응답’ 조사방식의 신뢰도다. 이 방식을 채택한 조사기관들은 지난 2010년 지방선거에서 정확성을 입증했다고 주장한다. 또 이 방식이 미국갤럽 등이 사용하는 방식이라고도 주장한다. 2010년 당시 많은 언론 들이 이러한 주장을 확인도 없이 그대로 보도하는 바람에 이러한 잘못된 정보가 정설로 굳어진 상태이다.

 

그러나 선거여론조사에 ARS 조사방법의 적용은 신중해야 한다. 첫째, 지난 4ㆍ11 총선 야권단일후보 선정 당시 통합진보당 여론조사 개입사건에서 드러났듯이 면접원이 기본적인 응답자 정보를 확인(예: 음성에 의한 성별 및 나이 구별)하거나 장난 응답을 필터링하는 게 근본적으로 불가능하다. 이로 인해 방법론적 엄격한 잣대로 보면 ARS조사방법은 과학적 조사방법으로 인정되지 않는다. 둘째, 응답거부율이나 조사 중간에 조사를 중단하는 비율이 높아 발생하는 낮은 응답율 문제도 조사의 신뢰성을 약화시키는 요인이다. 셋째, ARS 조사기관들이 주장하는 것처럼 미국갤럽 등 선진국의 공신력 있는 여론조사기관들은 IVR조사를 선거여론조사에 활용하지 않는다. 미국갤럽의 경우 마케팅 분야 고객불만 접수 등의 특수목적에 제한적으로 사용할 것을 권장한다. 실제로 IVR 조사 항목에 대한 소개는 마케팅 분야의 하위메뉴로 구성되어 있으며, 실제 미국 대선이나 총선 등 주요 공직선거에서는 전혀 사용하지 않는다. 본 연구원에서 문의해본 결과 실제로 미국갤럽에서는 대통령선거 여론조사를 포함한 갤럽의 여론조사 연구에는 IVR 방식을 사용하지 않는다는 확인을 받은 바 있다(Gallup does not use IVR technology for its public opinion research which includes our predisential polls.그림4)

 

[그림4] 대선 ARS(IVR) 조사방법 활용여부 질의에 대한 미국갤럽의 회신 (캡쳐)

 

 

4. 경주마식 선거저널리즘 극복해야

 

조사방법 자체의 문제점도 유의해야하겠지만 여론조사방법에 관한 최소한의 이해도 없이 조사결과를 선정적으로 보도하는 선거저널리즘의 관행을 지적하지 않을 수 없다. 여론조사 결과는 오차를 고려해 신중하게 해석하면 인식상의 혼선을 상당부분 해소 가능하다. 여론조사는 기본적으로 1000~1500명의 표본으로 4000만 명이라는 전체 유권자 집단의 여론 분포를 측정하는 작업이다. 그 과정에서 다양한 오차가 발생한다.

 

우선 표집오차가 존재한다. 1000~1500명의 표본을 모으는 과정에서 발생하는 오차다. ‘95% 신뢰수준에 표집오차 ±몇%’라고 하는 오차가 바로 표집오차다. 보통 무작위 표본추출을 전제로 1000명 표본시 ±3.1%로 오차범위가 정해진다. 그러나 샘플규모에 따라 정해지는 오차범위 외에 이를 더 확장시키는 요인도 많다. 여론조사기관들은 국내 여론조사의 낮은 응답율과 짧은 조사기간을 감안해 과학적인 무작위표본추출 대신 응답자를 조사기관 편의에 따라 변경하는 할당표본(quota sampling) 방식을 사용한다. 이 경우 표집오차는 무작위표본추출보다 오차의 범위를 넓게 잡아야 한다고 해외 조사방법론 교과서들은 가르친다.

 

전국단위 분석이 아니라 지역단위 분석에는 샘플 수가 줄고 표집오차는 더 커진다. 가령 지역단위 분석의 경우 인구가 상대적으로 많은 부산ㆍ경남이 전체유권자의 15%이므로 1000명을 기준으로 하면 150명 정도에 해당한다. 즉 150명을 통해 전체 600만 부산ㆍ경남 유권자의 분포를 읽어낸다는 데 한계와 오차가 따른다. 최근 호남에서 안철수 후보와 문재인 후보간 격차가 줄었다는 해석이 지배적이었는데 일회적인 조사결과로는 제대로 파악하기 힘들다.

 

이러한 표집오차 외에도 조사원의 숙련도나 조사기관의 노하우 및 관리시스템에 따라 데이터를 수집하고, 이를 축적, 정리, 데이터로 변환하는 과정에서 다양한 비표본 오차도 발생한다. 이렇게 보면 여론조사를 통해 도출되는 수치들은 충분한 오차의 가능성과 범위까지 고려해 평가하는 게 바람직하다.

 

그러나 현재 언론의 보도관행은 오차의 범위를 폭넓게 고려하면서 신중하게 분석하기 보다는 오차범위내의 변화조차 실제 여론의 변화인 것으로 평가하는데 익숙하다. ‘오차범위’는 ‘그 범위 내에서의 수치 차이는 통계적으로 유의미하다고 할수 없다’는 뜻이다. 즉 오차범위 내의 순위다툼은 통계적으로는 사실상 의미 없다는 것으로서 ‘오차범위 내의 우세’ 혹은 ‘오차범위 내에서 열세’라는 표현도 엄밀한 의미에서는 성립하지않는다. 그러나 우리 언론은 한발 더 나아가 하루 이틀 사이의 1, 2%p의 변화나 차이도 적극적으로 해석하여 경마식 순위 매기기에 열중하고 있다.

 

가령 지난 추석직후 리서치앤리서치가 조사하고 동아일보와 아산정책연구원 발표한 여론조사결과를 보자. 박근혜 후보와 문재인 후보간 양자대결에서 동아일보는 박 후보의 우세(47.4% 대 44.5%), 아산정책연구원은 문 후보의 우세(44.5% 대 42.9%) 를 전했다. 두 조사 결과의 차이는 오차의 허용범위 내에 있다. 오차범위 내 차이를 과장하고 있는 현재의 언론보도 풍토에서는 이 엇갈린 순위가 눈에 거슬리고 혼란스럽게 여겨지고 있는 것이다. 현재 나타나고 있는 여론조사 보도 과정에서의 혼란을 대하는 언론의 태도를 보면 2010년의 재판을 보게 되지 않을 까 걱정이다. 문제가 발생하면 문제인 것과 문제가 아닌 것을 충분히 검증하고 확인하기 보다는 당장의 책임을 물을 소재를 찾는데 급급하다.

 

여론의 드라마틱한 변화가 독자들의 관심을 끌고 흥미도 유발한다. 이를 활용하려는 조사기관, 언론기관의 문제의식과 생존본능을 이해 못할 바는 아니다. 그러나 신뢰의 위기는 그런 방식으로 해결되지 않는다. 여론조사를 통해 할 수 있는 해석과 할 수 없는 해석이 뭔가를 오히려 솔직하게 드러내는 게 우선이다. 그리고 애둘러 가더라도 한발 한발 정확히 읽어 내는 것만이 신뢰회복의 지름길이다. 여론은 가변적이지만 그렇다고 이유 없이 변동하지 않는다. 오랜 노력이 일관되게 축적될 때 불신은 극복된다. 무엇보다 가장 큰 문제는 다양한 조사방법이 도입되고 조사의 물량이 늘어나는 데 유권자 여론에 대한 이해가 그에 비해 얼마나 깊어지고 있는가 되물어봐야 한다. 정치 뿐 아니라 정치여론조사도 위기에 빠져들고 있다.■