2010년 선거조사 신뢰성 논쟁 : 숨은 표를 찾아라

 

선거 때만 되면 여론조사가 맞았다, 틀렸다는 식의 신뢰도 논란이 커지고 있다. 선거여론조사 신뢰도 논란의 가장 직접적인 계기로는 2010년 지방선거를 꼽을 수 있다. 당시 언론이 보도한 선거 6일전 여론조사 결과는 대부분 여당 후보들의 우위를 보여주었다. 그러나 실제 선거결과에서 호남은 물론 충청, 인천, 강원, 경남에서 야당 후보들이 당선되고, 수도권에서도 야당 후보들이 여당 후보들과 박빙의 대결을 펼쳤다. 여론조사 결과와 실제 투표결과 사이의 갭에 대해 학계와 조사업계의 진단은 여론조사가 숨은 표를 잡아내지 못한다는 점에 주목했다. 숨은 표의 원인으로는 크게 표집방법의 문제와 소위 사회적 압력에 따른 소수 여론의 과소 대표 문제가 지적되었다.

 

 

우선 표집방법의 문제로는 당시 조사들이 사용하던 ‘가구전화 표본추출방식’에 비판이 집중되었다. 2010년까지 전화여론조사의 경우 KT에 등재된 가구전화 리스트 중 번호 공개에 동의한 가구전화 대상으로 응답자를 추출하였다. 2009년 10월 기준으로 보면 공개를 허용한 KT 가구전화는 760만회선 정도였지만, 2005년 인구센서스에 따르면 우리나라 가구 수가 1,580만을 상회하여 KT등재가구가 전체 가구의 절반을 포괄하지 못하는 것이 문제였다. 또한 통신환경의 변화로 가구전화를 사용하지 않고 인터넷 전화, 휴대전화만 사용하는 사람들이 늘어났다는 점도 주목했다.

 

사회적 압력에 따른 소수여론의 과소대표 문제는 소위 ‘침묵의 나선 효과’, ‘브래들리 효과’등으로 불린다. 이 이론에 따라 2010년 선거 당시 야당의 숨은 표가 10% 있었다는 진단이 언론을 통해 유포되었다. 즉 다수여론에 배치되거나 사회적으로 바람직한 규범과 다른 의견을 가진 유권자들이 자신의 입장을 밝히지 못한다는 것인데 이명박 대통령 지지율이 50%를 상회하고, 정당지지율 및 선거여론조사에서 여당 후보들이 우위를 보인 것은 야당성향의 숨은 표를 여론조사가 잡아내는 데 실패했다는 주장이다.

 

달라진 조사방법과 재현된 신뢰성 논란

 

이러한 진단에 따라 조사 회사들은 등재된 가구전화에서 번호를 추출하는 방식 대신 소위 임의번호 걸기 방식(RDD: Random Digit Dialing)을 차용함으로써 등재되지 않은 가구전화응답자를 추출했다. 또한 가구전화와 휴대전화를 혼합하는 소위 이중표집틀(dual frame) 방식으로 전환하기 시작했다. 이후 대선여론조사에서는 비율의 차이만 있을 뿐 대부분 가구+휴대전화의 RDD 방식으로 조사를 진행한다. 한편 소수여론 과소대표 문제에 대해서는 면접원들이 직접 질문하는 방식 대신 녹음된 기계음으로 조사를 진행하는 자동응답조사(ARS) 방식이 대안이라는 주장이 제기되었다. 미국 갤럽 등 해외 유명조사기관에서 이러한 방식을 채용하고 있다는 것이다.

 

그러나 이러한 방법론적 변화 개선에도 불구하고 2012년 총선과 대선에서도 여론조사의 신뢰성 논란이 재현되었다. 많은 전문가들은 여론조사 결과를 토대로 총선에서 야권의 승리를 점쳤고, 대선에서는 여론조사 공표금지 기간 중 회자된 여론조사에서는 문재인 후보가 박근혜 후보에 역전하는 소위 골든크로스 현상이 확인되었다. 그러나 선거 결과는 총선에서 새누리당이 과반의석에 성공했고, 박근혜 후보는 생각보다 여유 있는 표차로 당선되었다.

 

무엇이 문제였나? 엄밀한 분석과 변한 표에 주목해야 한다.

 

대표성 문제를 해결하기 위해 휴대전화 RDD방식까지 도입하였고, 야당의 숨은 표를 잡는 데 유리하다고 했던 ARS 조사 방법도 신뢰도 논란을 잠재우는데 실패했다. ​

 

우선, 충분한 이론적, 경험적 검증 없이 새로운 방법론을 적용한 것이 문제였다. 실제로 모 연구기관이 2011년 기존방식과 휴대전화 RDD방식을 조사한 결과 통계적으로 유의한 차이가 없었는데 각 언론과 일부 조사회사에서 오차범위 내 차이를 침소봉대한 결과였다. 한편 ARS조사 방법 역시 확인결과 미국 갤럽 등 해외 여론조사기관들에서 엄밀성을 요구하는 선거여론조사에 활용한다는 주장은 사실무근이었다.

 

​다음으로, 선정적 해석방법도 한몫했다. 여론조사는 1,000명 남짓한 샘플을 뽑아 3,000만명에 달하는 전체 유권자의 분포를 추정하는 방법이다. 조사 표본과 전체 유권자 분포 사이에는 오차가 불가피하다(표본오차). 따라서 분석할 때 특정 수치에 절대적 의미를 부여하기 보다는 확률적으로 오차범위 구해 구간으로서 전체 유권자 여론을 추정하게 된다. 우리가 선거여론조사 보도 시 95% 신뢰수준에 표본오차 ±3.1%라고 하는 것은 특정 후보의 지지율이 50%가 나왔다고 할 때 50%라는 수치가 95% 수준으로 정확하다는 것이 아니라, 100번 조사하면 95번은 그 후보의 지지율이 46.9%~53.1% 사이에 있다는 것을 의미한다. 따라서 두 후보 사이의 지지율 격차가 오차범위를 벗어나지 못할 경우 통계적으로 의미 있는 차이가 아니다. 그러나 언론보도에서는 오차범위를 고려하지 않고 누가 우세하다는 식으로 선정적 보도 관행에서 벗어나고 있지 못하다. 여기에 조사자 숙련도, 코딩오류, 설문방식 등에 따른 비표본 오차도 존재한다. 지난 대선 여론조사에서 두 후보의 격차는 오차범위 내였다. 이 경우 실제결과에서 후보 순위가 바뀌었다면 조사방법이 문제가 아니라 선정적 해석을 우선 탓해야 한다.

 

[ 지지후보 결정 시기 ]

자료: EAI·SBS·중앙일보·한국리서치 <2012 KEPS 패널조사>

 

마지막으로, 숨은 표보다 변한 표에 주목해야 한다. 현행 선거법은 선거일 전 6일부터 선거일 투표마감시각까지 그 기간 중에 실시한 여론조사는 공표를 금지하고 있다. 과거 선거운동기간 내내 공표를 금지했던 것에 비해 개선되었지만, 공표 금지기간인 일주일 사이에 변하는 유권자의 표심을 포착하는 것을 원천적으로 제한한다. 결국 선거 6일 전 여론조사와 선거당일 출구조사/실제 선거결과를 직접 비교하는 것은 어불성설이다. 더구나 출구조사나 실제 선거결과는 투표자들의 표심인 반면, 여론조사는 비투표자까지 조사에 포함된다. 특정 정당을 지지하고, 이념적 태도가 강한 당파적 유권자들은 선거운동이 진행되기 이전에 이미 지지하는 후보가 정해져 있으며 사실상 지지후보를 교체하는 비율이 낮다. 그러나 중도무당파 성향의 비당파적 유권자들은 선거에 임박해 선거에 관심을 갖기 시작하고 지지후보를 정하기 시작한다. 지지후보의 교체비율도 높다. 2012년 대선 조사결과를 보면 선거일로부터 한달 이전에 지지후보를 결정했다는 응답자는 49.0%, 후보등록 시점에 결정했다는 응답이 22.0%였다. 또한, 일주일 전 결정했다는 응답이 12.3%, 선거일 2~3일전 결정했다는 응답이 10.5%, 선거당일에 결정했다는 응답도 6.3%나 된다. 현 제도 하에서는 이들의 표심 변화를 제대로 반영할 수 없다.

 

조사방법의 개선이나 해석 시 보다 엄밀성을 유지하지 못하고, 여론조사 공표금지 기간 중 변하는 표심에 주목하지 않을 경우 여론조사의 신뢰도 위기는 지속될 것으로 보인다. 방법론의 개선 못지않게 보도 및 규제제도의 개선에도 관심을 가져야 하는 이유가 여기에 있다.

 

[참고자료]

조성겸․김지연․나윤정․이명진. 2007. “선거여론조사의 문제점과 개선 방향 2006년 지방선거 전화조사를 중심으로” <조사연구> 제8권 1호. pp.31-54.

허명회․김영원 2008. “RDD표본 대 전화번호부 표본: 2007년 대통령 선거 예측 사례조사연구” <조사연구> 제9권 3호. pp.55-69.

정한울. 2011. “50% 지지율 대통령이 왜 심판을 받았을까” 이내영․임성학(공편) <변화하는 한국유권자4: 패널조사를 통해 본 2010 지방선거>. 서울: 동아시아연구원

 

※ 위 내용은 외부 전문가의 개인적 의견으로 중앙선거관리위원회의 견해와 일치하지 않을 수 있습니다.

 

---

 

필진: 정한울

[약력] 고려대 정치학 박사. 현 동아시아연구원(EAI) 사무국장, 현 유엔사,한미연합사, 주한미군 사령관 민간자문위원회(KAC) 위원, 전 동아시아연구원 여론분석센터 부소장

[주요 저작 및 논문] 공저서로 <변화하는 한국유권자>시리즈, <박근혜 현상>, <18 그리고 19>, 논문으로 “이슈와 한국 정당지지의 변동”, “세대균열의 구성요소: 코호트 효과와 연령 효과” 외 다수