통계의 기본원리 가우스 분포
가우스 이전의 모든 사람들의 IQ를 합한 것보다 더 높은 IQ를 갖고 있다는 가우스(Carl Friedrich Gauss,1777-1855)는 당시의 수학과 물리학에 커다란 업적을 만들었다. 이러한 가우스는 통계학에서도 가우스 분포 또는 정규분포라는 아주 신기한 법칙을 완성했다. (최초로 연구하기 시작한 학자들은 드무아브르, 라플라스, 르장드르라는 유명한 학자들이었다.)
가우스 분포가 처음 연구된 것은 실험의 오차를 적절하게 처리하기 위해서였다. 실험의 결과를 얻었을 때 그 결과는 참값에서 어느 정도 차이가 있는 값일 가능성이 높다. 이러한 차이가 얼마나 될까를 예상하는 것이 가우스분포의 주된 목적이다.
이 함수의 사용처는 매우 다양하다. 실험의 오차에서 시작한 사용처는 제품의 품질검사, 확률계산 등에 사용되고, 오늘날에는 여론조사에서도 사용된다.
통계에서 자주 사용되는 지표 변수들은 평균, 분산(또는 표준편차) 들이다. 가우스 분포 속에도 이들 변수로 이뤄져 있다.
이 수식의 의미는 무엇일까?
어떤 값이 나타날 확률을 계산함에 있어서 평균값(μ)로부터 표준편차(σ) 이상의 오차를 가질 확률이 약 32%임을 의미한다. 표준편차의 두 배(2σ) 이상의 오차를 가질 확률은 약 4.5%가 된다. 이 확률은 어떤 값들을 무작위로 취했을 때 그 값들이 우리가 예상했던 값(평균값)에서 벗어날 확률을 뜻하고, 그래서 우리는 '오차의 한계'라는 이름으로 이 확률을 부른다.
일반적인 조사에서 오차의 한계가 작으면 작을수록 더 많은 측정을 행했거나 조사가 틀릴 확률을 너그럽게 고려한다는 의미로 받아들일 수 있다.
만약 제조회사에서 제품의 품질검사를 할 때 불량률 1%의 확률로 검사를 한다면 1% 미만의 오차는 정상제품으로 측정한다는 의미로 받아들일 수 있다. 제조업체에서는 이러한 측정에 노력을 많이 들이는데 돈과 직접적인 연관이 있기 때문이다.1
표본추출 방법과 표본의 수, 그리고 여론조사의 신뢰도
표본의 수에 관련된 재미있는 일화가 하나 존재한다.
<리터러리 다이제스트>라는 1900년대 초의 미국의 인기잡지에서는 1916년 최초로 전국적인 여론조사를 하여 윌슨 대통령의 당선을 맞췄으며, 꽤 오랫동안 대선후보 맞추기는 계속되었다. 결국 큰 인기를 구가하던 <리터러리 다이제스트>사는 1936년 1천만 명을 표본으로 하는 여론조사를 실시하기에 이르렀다.
하지만 이번에는 1천만 명의 표본조사를 했음에도 불구하고 조사결과가 틀렸고, 단지 5000명에게 여론조사를 했던 조지 갤럽의 조사결과가 정확했기 때문에 <리터러리 다이제스트>는 신뢰성에 치명타를 맞고 2년 뒤에 문을 닫는 계기를 마련하게 된다.
이러한 과정을 거쳐 여론조사의 한 방법으로서 갤럽의 방법은 나중에 과학이 되었다. 갤럽과 <리터러리 다이제스트> 사건의 본질은 표본의 크기보다는 표본의 품질이 얼마나 중요한지를 알려주는 예이다. 뿐만 아니라 표본들이 취하는 행동에 따라서 여론조사의 의미가 있을 수도 있고, 없을 수도 있다.
여론조사의 신뢰도는 결국 얼마나 많은 표본을 정하느냐보다는 어떻게 표본을 추출하고 그 반응을 분석하는 방법에 따라 달라진다는 것을 의미한다.
여론조사 질문들의 단어와 보기의 하나하나의 중요성
여론조사 방법의 또 다른 중요한 점은 여론조사의 질문들을 선택하는 것이다.
최근 미국에서는 직접적으로 물어보지 않고, 간접적인 질문으로 여론을 측정한다는 것은 유명한 사례다. 예를 들어 어떤 자동차나 담배를 좋아하는지 질문을 하여 답변자의 성향을 파악한다는 것인데, 많은 데이터를 분석해야만 얻을 수 있는 노하우라고 하겠다.
하지만 우리나라의 여론조사는 아직 여러 기법을 활용하는 수준에 이르질 못한 상태다. 예를 들어서 김밥을 좋아하냐 볶음밥을 좋아하냐에 대한 여론조사를 할 때
"당신은 볶음밥보다 김밥을 좋아하십니까? (y/n)"
라는 질문과
"당신은 볶음밥과 김밥 중 어떤 것을 더 자주 드십니까? (볶음밥/김밥)"
라고 질문하는 것이다. 언뜻 같은 질문인 것 같지만, 이러한 변화만으로도 많이 결과가 다르게 나타난다. 심지어는 볶음밥과 김밥의 위치를 바꾸기만 하더라도 응답의 결과가 다르게 나타난다. 이러한 차이에 따른 여러 기법을 정당하게 활용하기보다는 당장 여론조사기관의 신뢰성을 확보하지도 못한 상태다. 작의적인 결과를 얻기 위해서 일부러 하나하나의 단어를 조작하기 때문이다. 우연히 여론조사 전화를 받는 경우에 그들의 문구 하나하나를 살펴보면 심하게 변형된 질문들이라는 것을 알게 된다. 특히 우리나라의 여론조사 질문들은 답변자의 여러 가지 이유로 답을 결정할 수 없는 경우에 선택할 수 있는 답변이 없는 경우가 대부분이다. 최근 여론조사에서 응답률이 극단적으로 낮은 이유 중 하나는 모호한 질문과 선택지의 제한성 때문일 것이다.
우리나라에서 여론조사로서 출구조사가 허용됐던 것은 불과 얼마 전이었다. 지난 97년 대선에서 처음 여론조사가 이뤄졌었는데 당시 선거법 때문에 제때에 결과발표가 이뤄지지는 못했지만 상당히 정확하게 선거결과가 예측됐었다고 전해진다.
그래서 자신감을 갖게 된 여론조사기관에서 02년 대선에서도 더 많은 표본을 대상으로 출구조사가 이뤄졌었다. 대선 당일에 여론조사를 발표할 수 없도록 선거법이 되어있어서 오후 12시가 되면 TV를 통해 발표하려고 했던 당시의 계획은 결과가 크게 빗나가게 되면서 결국 발표되지 못했다. 02년 대선에서는 지지율의 차이도 미세했고, 정몽준 의원의 행보가 큰 변수로 작용하기도 했지만 여론조사 기법이 아직 충분하지 못했던 원인도 있을 것이다.
왜 대선후보들은 여론조사의 지지율 변화에 일희일비 하는가?
여론조사 결과가 선거의 결과를 의미하는 것이 아니기 때문에 언뜻 생각할 때는 여론조사 결과에 크게 신경 쓸 필요는 없어 보인다. 하지만 우리나라뿐만 아니라 미국 같은 여론조사를 오래전부터 해왔던 나라에서조차도 후보들이 여론조사 결과에 일희일비(一喜一悲)하는 모습을 쉽게 볼 수 있다. 왜 그럴까?
스포츠 경기를 보면 대부분 경기는 우세한 선수와 열세인 선수로 나뉜다. 이 때 특별히 응원하는 선수가 없던 관중들은 경기가 시작될 때는 어느 쪽도 응원하지 않다가 경기 막바지가 다가오면 크게 두 부류로 분리된다. 첫째 부류는 이기고 있는 편을 응원하고, 둘째 부류는 지고 있는 편을 응원한다. 이 때 응원하는 팀과 지고 있는 팀을 응원하는 비율은 상황과 관중의 성향에 따라 다르지만 대략 6:4 정도로 이기고 있는 팀을 응원하는 관중이 많다고 한다.
이러한 현상은 선거에서도 그대로 나타나는데 선거 막판까지 존재하던 부동층이 1위를 하는 후보와 2위를 하는 후보를 대략 6:4 정도로 지지하게 되는 현상이라고 한다. 이를 꽃가루 현상이라고 하는데 1위와 2위의 차이를 더 크게 벌리는 효과로 작용한다고 한다.
여론조사가 실질적인 영향력은 전혀 없지만 스포츠 경기 도중의 점수 같은 역할을 하기 때문에 선거 막판에 다다르면 지지하는 후보를 결정하지 못한 유권자들을 한쪽으로 몰아가게 된다는 것이다. 그래서 아주 조금의 차이라도 여론조사 결과 1위를 하기 위해 노력하고, 그 결과에 일희일비한다. 그렇기 때문에 여론조사는 선거가 임박하면 투표가 끝날 때까지 결과를 발표하지 못하도록 현재 선거법에서 규정하고 있는 것이다.
사실 여론조사라는 것이 기법이 문제가 되어 결과가 맞거나 틀릴 수도 있다. 하지만 이보다 더 큰 문제는 여론조사를 조작하거나 악용하려는 사람들이 항상 존재한다는 것이다. 여론조사는 엄연히 과학이 될 수 있다. 하지만 여론조사가 과학이 되기 위해서는 여론조사기관의 연구가 선행되어야 하고, 여론조사에 관련된 내용이 모두 공개되어 조사 자체의 신뢰성이 쌓이지 않으면 안 된다. 이번 대선에서도 많은 기관과 정당에서 여론조사를 실시해 결과를 발표했지만 표본추출과정과 질문 등에 대한 기본적인 조사 방법조차 밝히는 곳이 없다. 이런 부분에서 공신력을 확보하지 않는 기관에서 발표한 조사결과는 우선 의심해 보는 것이 더 좋겠다고 생각한다.
많은 사람들이 이번 대선의 여론조사를 놓고 표본추출에 문제를 제기하는 이유가 여기에 있다. 여론조사기관이 의도적으로 특정후보에게 조사결과가 유리하도록 표본추출을 왜곡했다는 것이다.
가우스 이전의 모든 사람들의 IQ를 합한 것보다 더 높은 IQ를 갖고 있다는 가우스(Carl Friedrich Gauss,1777-1855)는 당시의 수학과 물리학에 커다란 업적을 만들었다. 이러한 가우스는 통계학에서도 가우스 분포 또는 정규분포라는 아주 신기한 법칙을 완성했다. (최초로 연구하기 시작한 학자들은 드무아브르, 라플라스, 르장드르라는 유명한 학자들이었다.)
출처 : 위키피디아
이 함수의 사용처는 매우 다양하다. 실험의 오차에서 시작한 사용처는 제품의 품질검사, 확률계산 등에 사용되고, 오늘날에는 여론조사에서도 사용된다.
통계에서 자주 사용되는 지표 변수들은 평균, 분산(또는 표준편차) 들이다. 가우스 분포 속에도 이들 변수로 이뤄져 있다.
가우스 분포식
어떤 값이 나타날 확률을 계산함에 있어서 평균값(μ)로부터 표준편차(σ) 이상의 오차를 가질 확률이 약 32%임을 의미한다. 표준편차의 두 배(2σ) 이상의 오차를 가질 확률은 약 4.5%가 된다. 이 확률은 어떤 값들을 무작위로 취했을 때 그 값들이 우리가 예상했던 값(평균값)에서 벗어날 확률을 뜻하고, 그래서 우리는 '오차의 한계'라는 이름으로 이 확률을 부른다.
일반적인 조사에서 오차의 한계가 작으면 작을수록 더 많은 측정을 행했거나 조사가 틀릴 확률을 너그럽게 고려한다는 의미로 받아들일 수 있다.
만약 제조회사에서 제품의 품질검사를 할 때 불량률 1%의 확률로 검사를 한다면 1% 미만의 오차는 정상제품으로 측정한다는 의미로 받아들일 수 있다. 제조업체에서는 이러한 측정에 노력을 많이 들이는데 돈과 직접적인 연관이 있기 때문이다.1
표본추출 방법과 표본의 수, 그리고 여론조사의 신뢰도
표본의 수에 관련된 재미있는 일화가 하나 존재한다.
<리터러리 다이제스트>라는 1900년대 초의 미국의 인기잡지에서는 1916년 최초로 전국적인 여론조사를 하여 윌슨 대통령의 당선을 맞췄으며, 꽤 오랫동안 대선후보 맞추기는 계속되었다. 결국 큰 인기를 구가하던 <리터러리 다이제스트>사는 1936년 1천만 명을 표본으로 하는 여론조사를 실시하기에 이르렀다.
하지만 이번에는 1천만 명의 표본조사를 했음에도 불구하고 조사결과가 틀렸고, 단지 5000명에게 여론조사를 했던 조지 갤럽의 조사결과가 정확했기 때문에 <리터러리 다이제스트>는 신뢰성에 치명타를 맞고 2년 뒤에 문을 닫는 계기를 마련하게 된다.
이러한 과정을 거쳐 여론조사의 한 방법으로서 갤럽의 방법은 나중에 과학이 되었다. 갤럽과 <리터러리 다이제스트> 사건의 본질은 표본의 크기보다는 표본의 품질이 얼마나 중요한지를 알려주는 예이다. 뿐만 아니라 표본들이 취하는 행동에 따라서 여론조사의 의미가 있을 수도 있고, 없을 수도 있다.
여론조사의 신뢰도는 결국 얼마나 많은 표본을 정하느냐보다는 어떻게 표본을 추출하고 그 반응을 분석하는 방법에 따라 달라진다는 것을 의미한다.
여론조사 질문들의 단어와 보기의 하나하나의 중요성
여론조사 방법의 또 다른 중요한 점은 여론조사의 질문들을 선택하는 것이다.
최근 미국에서는 직접적으로 물어보지 않고, 간접적인 질문으로 여론을 측정한다는 것은 유명한 사례다. 예를 들어 어떤 자동차나 담배를 좋아하는지 질문을 하여 답변자의 성향을 파악한다는 것인데, 많은 데이터를 분석해야만 얻을 수 있는 노하우라고 하겠다.
하지만 우리나라의 여론조사는 아직 여러 기법을 활용하는 수준에 이르질 못한 상태다. 예를 들어서 김밥을 좋아하냐 볶음밥을 좋아하냐에 대한 여론조사를 할 때
"당신은 볶음밥보다 김밥을 좋아하십니까? (y/n)"
라는 질문과
"당신은 볶음밥과 김밥 중 어떤 것을 더 자주 드십니까? (볶음밥/김밥)"
라고 질문하는 것이다. 언뜻 같은 질문인 것 같지만, 이러한 변화만으로도 많이 결과가 다르게 나타난다. 심지어는 볶음밥과 김밥의 위치를 바꾸기만 하더라도 응답의 결과가 다르게 나타난다. 이러한 차이에 따른 여러 기법을 정당하게 활용하기보다는 당장 여론조사기관의 신뢰성을 확보하지도 못한 상태다. 작의적인 결과를 얻기 위해서 일부러 하나하나의 단어를 조작하기 때문이다. 우연히 여론조사 전화를 받는 경우에 그들의 문구 하나하나를 살펴보면 심하게 변형된 질문들이라는 것을 알게 된다. 특히 우리나라의 여론조사 질문들은 답변자의 여러 가지 이유로 답을 결정할 수 없는 경우에 선택할 수 있는 답변이 없는 경우가 대부분이다. 최근 여론조사에서 응답률이 극단적으로 낮은 이유 중 하나는 모호한 질문과 선택지의 제한성 때문일 것이다.
우리나라에서 여론조사로서 출구조사가 허용됐던 것은 불과 얼마 전이었다. 지난 97년 대선에서 처음 여론조사가 이뤄졌었는데 당시 선거법 때문에 제때에 결과발표가 이뤄지지는 못했지만 상당히 정확하게 선거결과가 예측됐었다고 전해진다.
그래서 자신감을 갖게 된 여론조사기관에서 02년 대선에서도 더 많은 표본을 대상으로 출구조사가 이뤄졌었다. 대선 당일에 여론조사를 발표할 수 없도록 선거법이 되어있어서 오후 12시가 되면 TV를 통해 발표하려고 했던 당시의 계획은 결과가 크게 빗나가게 되면서 결국 발표되지 못했다. 02년 대선에서는 지지율의 차이도 미세했고, 정몽준 의원의 행보가 큰 변수로 작용하기도 했지만 여론조사 기법이 아직 충분하지 못했던 원인도 있을 것이다.
왜 대선후보들은 여론조사의 지지율 변화에 일희일비 하는가?
여론조사 결과가 선거의 결과를 의미하는 것이 아니기 때문에 언뜻 생각할 때는 여론조사 결과에 크게 신경 쓸 필요는 없어 보인다. 하지만 우리나라뿐만 아니라 미국 같은 여론조사를 오래전부터 해왔던 나라에서조차도 후보들이 여론조사 결과에 일희일비(一喜一悲)하는 모습을 쉽게 볼 수 있다. 왜 그럴까?
스포츠 경기를 보면 대부분 경기는 우세한 선수와 열세인 선수로 나뉜다. 이 때 특별히 응원하는 선수가 없던 관중들은 경기가 시작될 때는 어느 쪽도 응원하지 않다가 경기 막바지가 다가오면 크게 두 부류로 분리된다. 첫째 부류는 이기고 있는 편을 응원하고, 둘째 부류는 지고 있는 편을 응원한다. 이 때 응원하는 팀과 지고 있는 팀을 응원하는 비율은 상황과 관중의 성향에 따라 다르지만 대략 6:4 정도로 이기고 있는 팀을 응원하는 관중이 많다고 한다.
이러한 현상은 선거에서도 그대로 나타나는데 선거 막판까지 존재하던 부동층이 1위를 하는 후보와 2위를 하는 후보를 대략 6:4 정도로 지지하게 되는 현상이라고 한다. 이를 꽃가루 현상이라고 하는데 1위와 2위의 차이를 더 크게 벌리는 효과로 작용한다고 한다.
여론조사가 실질적인 영향력은 전혀 없지만 스포츠 경기 도중의 점수 같은 역할을 하기 때문에 선거 막판에 다다르면 지지하는 후보를 결정하지 못한 유권자들을 한쪽으로 몰아가게 된다는 것이다. 그래서 아주 조금의 차이라도 여론조사 결과 1위를 하기 위해 노력하고, 그 결과에 일희일비한다. 그렇기 때문에 여론조사는 선거가 임박하면 투표가 끝날 때까지 결과를 발표하지 못하도록 현재 선거법에서 규정하고 있는 것이다.
사실 여론조사라는 것이 기법이 문제가 되어 결과가 맞거나 틀릴 수도 있다. 하지만 이보다 더 큰 문제는 여론조사를 조작하거나 악용하려는 사람들이 항상 존재한다는 것이다. 여론조사는 엄연히 과학이 될 수 있다. 하지만 여론조사가 과학이 되기 위해서는 여론조사기관의 연구가 선행되어야 하고, 여론조사에 관련된 내용이 모두 공개되어 조사 자체의 신뢰성이 쌓이지 않으면 안 된다. 이번 대선에서도 많은 기관과 정당에서 여론조사를 실시해 결과를 발표했지만 표본추출과정과 질문 등에 대한 기본적인 조사 방법조차 밝히는 곳이 없다. 이런 부분에서 공신력을 확보하지 않는 기관에서 발표한 조사결과는 우선 의심해 보는 것이 더 좋겠다고 생각한다.
많은 사람들이 이번 대선의 여론조사를 놓고 표본추출에 문제를 제기하는 이유가 여기에 있다. 여론조사기관이 의도적으로 특정후보에게 조사결과가 유리하도록 표본추출을 왜곡했다는 것이다.
- 이런 내용들은 정확히 기억하지는 못하겠지만 우리가 고등학교 수학시간에 충분한 학습을 한 바 있다. 정확히 공부한 사람들이 거의 없기 때문에 기억하는 사람이 적을 뿐이다. [본문으로]
'과학 > 여러가지 이야기' 카테고리의 다른 글
| 유리창에 비친 모습은 왜 항상 두 개로 보일까? (4) | 2008/03/28 |
|---|---|
| 노란 식물이 성장하는 원동력은? (0) | 2008/03/28 |
| 마찰력 2부 - 특별해 보이는 마찰력 (1) | 2008/03/04 |
| 마찰력 1부 - 정리해보기 (0) | 2008/03/03 |
| 통계와 여론조사 (4) | 2008/01/10 |
| 솔리톤 (4) | 2007/12/16 |
| 공의 물리 (5) | 2007/11/23 |
| DNA의 다양성 (수정) (5) | 2007/11/18 |
| 탁구공으로 하는 베르누이의 원리 실험 (10) | 2007/11/04 |
| 펠티어 소자 - 미래의 냉난방 기술 (9) | 2007/11/02 |
솔직히 여론조사라는 것이 얼마나 신뢰성이 있는지는 모르겠습니다.
보통 95% 정확도에 2.5%정도 차이가 난다고 얘기는 하는데 말이죠.
어떤 표본을 떴는지, 그리고 어떤 질문을 했는지에 대한 내용이 정확해야 하는데.. -.-;
윗 글에서 말씀드린 것처럼.....
수치적인 분석보다 표본추출과 질문방법이 더 중요하죠.
그런 의미에서 우리나라 여론조사는 많이 부정확하겠죠? ^^;
예전에 심리학 관련된 수업을 들으면서, 설문지를 만들 때에 질문과 보기를 잘 설계하는 것이 참 어렵다는 것을 알게되었습니다. 그래서 유명한 심리 검사인 MBTI 등은 개발하는데 많은 노력과 자금이 들었기 때문에 비싼 값을 주고 라이센스를 판매할 수 있겠지요... 그만큼 신뢰성도 있다고 알고 있구요.
그때 본 기억으로는, 설문과 조사, 통계에 대한 많은 연구와 노하우가 축적되었기 때문에.. 제대로 하려고 하면 제대로된 조사를 할 수 있을 것 같다는 생각이 들었습니다. 다만, 제대로 조사를 하고 싶은 정당이 있을까에는 의문이 듭니다. 특히 '발표용 설문조사'의 경우에는요.
어느정도는 표본이 작성되어 있겠죠. 물론 그게 완벽한 것은 아니라지만....
아무튼, 가끔 설문 전화걸려오면 스팸신고하고 싶어질 정도로 엉터리 전화들이 많아서 짜증날 때가 많아요. -_-
재미있는 댓글 감사합니다.