현재 국내에는 30개 이상의 조사업체들이 전국 단위 대선 후보 여론조사를 진행하고 있습니다. 다만 조사 방식, 가상번호 사용 여부, 샘플링 방식 등에 따라 동일한 날짜에 진행한 조사에서도 서로 다른 결과가 보고되고는 합니다.
서로 다른 여론조사 결과를 취합하는 가장 단순한 방식은 **단순 평균(simple average)**입니다. 그러나 이는 다음의 문제에 효과적으로 답하지 못합니다.
- 과연 모든 여론조사는 동일한 비중으로 중요한가?
- 여론의 흐름을 분석하는데에 시간에 따른 변화를 반영하지 않아도 되는가?
이에 저희 언더스코어는 **상태공간모형(State Space Model, SSM) 혹은 칼만필터(Kalman Filter)**라는 기법을 활용하여 여론조사 정보들을 취합 중입니다.
1960년에 처음 발표된 칼만필터는 측정하려는 대상과 관련해 확률적인 오차가 포함되고, 특정 시점에서의 상태가 이전 시점과 관계가 있는 상황에서 통계적인 잡음(noise)에 흔들리지 않고 현재의 상태를 추정하기 위해 도입된 기법입니다.
가령, 우주에 내보내는 로켓의 엔진 온도를 실시간 추정하고자 할 때, 우리는 높은 엔진 온도로 인해 이를 직접 측정할 수 없습니다. 센서가 녹아내리기 때문이죠. 결국 센서는 엔진 외부 표면에 부착되고, 우리는 이러한 오차(error)를 감안해서 실시간으로 직접 관찰 가능하지는 않은(unobservable) 정보를 실시간으로 추정해야 합니다. 이 때 사용되는 기법이 칼만필터입니다.
여론조사 역시 이와 유사합니다. 여론조사의 참값(true value)을 알 수 없다고 했을 때, 만약 서로 다른 조사 결과들의 중간 어딘가에 그 값이 위치한다고 가정한다면, 우리는 이를 간접적으로 추정해 볼 수 있습니다.
언더스코어의 상태공간모형이 추정에 사용하는 변수는 다음과 같습니다.
- 조사 기관 효과 (house effect)
- 주요 조사 시간 (오전, 오후, 저녁 비율)
- 조사 방식 (ARS vs 전화면접)
- 응답률
물론 저희의 여론조사 통합지표 역시 방법론적인 한계 및 해석 시 유의사항들이 있습니다.
- 저희 모델은 통상적으로는 여론조사 취합(poll aggregation)이라고 불리기는 하나, 그 작동 방식이 단순히 가중평균(weighted average)만은 아니기에 좀 더 상세히 이해할 필요가 있습니다. 먼저 본 모델은 각 후보자의 지지율이 무작위 행보(random walk)를 따른다는 가정에서 출발합니다. 이는 각 후보자의 지지율이 밀폐된 공간의 공기분자와 같이 완전히 무작위로 움직인다는 뜻입니다.
- 해당 가정을 바탕으로 조사시간대 비중, 조사 의뢰자의 정치 성향, 조사기관 효과 등이 선형(linear)으로 결합한다고 보고, 관찰된 지지율을 가장 잘 설명할 수 있는 후보자의 지지율을 추정합니다.
- 이는 ‘실제로는 관찰되지 않는 후보자의 지지율’이라는 **잠재 상태(latent state)**를 찾는 과정으로 이해할 수 있습니다. 따라서 조사 결과값을 평균내는 방식과는 거리가 멀기 때문에 통상적으로 심리학·의학 연구에서 활용되는 메타분석(meta-analysis)과는 차이가 있습니다.
- 마지막으로, 본 모델의 오차범위 해석 역시 중요합니다. 저희 모델은 베이지안 추정에 기반하기에, 그래프의 음영으로 표시된 오차범위는 추정된 지지율 사후분포(posterior distribution)의 신용구간(credibility interval)을 보여줍니다. 따라서 개별 조사의 부정확도가 크다 할지라도 신용구간의 범위는 그보다 작을 수 있습니다.
본 여론조사 통합지표 서비스에 사용된 방법론을 보다 자세히 이해하거나 기술적으로 구현하기 위해서는 아래의 자료들을 참고해보실 수 있습니다.
Bayesian state space estimation in Python via Metropolis-Hastings | Chad Fulton