얼마 전 소속팀에서 신체검사를 했는데, 신체검사 결과가 나왔을 때 암 검진 지표 중 하나가 실제로 높게 나와 깜짝 놀랐어요! 잠시 당황한 후에 나는 동료 중 몇몇이 높은 지표를 가지고 있다는 것을 발견했습니다. 한 회사에 그렇게 많은 사람이 암에 걸리나요? 병원이 실수한 걸까요? 물론, 우리가 검토를 하러 간 후, 지표는 다시 정상이 되었고, 의사는 아무런 문제가 없다고 했습니다. 나는 암이 아니라고 확신했고, 마음이 편했지만, 그래도 조금은 우울했다. 병원의 검사 결과가 너무 신빙성이 없는 것 아니었나?
그런데 최근 '간단한 통계: 심각한 헛소리를 쉽게 보는 방법'이라는 책을 읽다가 깨달았습니다. 병원이 신뢰할 수 없는 것이 아니라 통계를 이해하지 못하는 것입니다.
더 읽기 전에 마음 속으로 숫자를 추정해 보는 것이 좋습니다.
정답은 9.0146%입니다. 놀랐나요? 걱정하지 마세요, 함께 분석해 볼까요?
이제 10만명이 검사를 위해 병원에 가고, 그 중 100명이 환자라고 가정해 보겠습니다. (발생률은 0.1%입니다.) 검사 결과는 이렇습니다. :
첫 번째 행: 100명의 환자가 있으며 그 중 99명이 양성 반응을 보였으며 정확도는 99%입니다.
두 번째 줄: 건강한 사람이 99,900명이고 그 중 999명이 양성(위양성) 테스트를 받았고 정확도는 99%(또는 오류율은 1%)이므로 문제가 없습니다.
핵심은 첫 번째 열에 있습니다. 양성 반응을 보인 1098명 중 999명은 건강한 사람이고 99명은 아픈 사람이었습니다. 실제로 환자는 99¼1098*100%≒9.0164%입니다.
질문을 바꿔서: 샤오왕의 검사 결과가 음성이라면, 그가 건강한 사람일 확률은 얼마나 될까요? 정답은 99.999% (98901 ¼ 98902 ≒ 99.999%) 입니다.
검사 결과 Xiao Wang이 아프지 않은 것으로 나타나면 Xiao Wang이 아프지 않을 가능성이 높으며, 검사 결과 Xiao Wang이 아프지 않은 것으로 나타나면 Xiao Wang은 아프지 않을 가능성이 높습니다.
위의 분석 방법은 제가 책 "간단한 통계: 심각한 넌센스를 쉽게 보는 방법"에서 배운 내용입니다. 6장의 마리화나 탐지 사례에서도 이 방법을 사용합니다. 또한 이 게임을 직접 플레이하여 발생률과 탐지 정확도를 변경해 보면 흥미로운 결과를 많이 얻을 수 있습니다.
『간단한 통계: 심각한 넌센스를 쉽게 알아보는 방법』이라는 책을 읽고 나서 통계의 '꿰뚫을 수 없는' 성격에 대한 인상이 완전히 바뀌었다고 해도 과언이 아닙니다. 이 책은 복권 구입부터 국가 정책 수립까지 통계의 무지로 인해 발생하는 수많은 인지적 오류를 풍부한 사례를 통해 간단하고 이해하기 쉽게 설명하고 있다.
이 책의 저자인 게리 스미스(Gary Smith)는 예일대학교에서 7년 동안 가르쳤습니다. 그의 통계 강좌는 매우 현실적이고 일상생활과 밀접하게 관련되어 있으며 특히 예일대학교에서 인기가 있습니다. 그의 책 역시 교실 스타일을 이어가고 있다. 어려운 수학이나 차트는 없고, 흥미로운 사례와 심층적인 분석만 있다. 통계학을 접해본 적이 없는 독자라도 이 책을 통해 쉽고 즐겁게 읽을 수 있다.
이 책의 영어판은 폭넓은 관심을 끌었고, 노벨상 수상자인 로버트 실러(Robert Shiller)도 “이 책은 매우 흥미로운 책이지만 매우 심각한 문제를 드러낸다”고 극찬했습니다.
로버트 쉴러는 왜 이 책이 "매우 심각한 문제를 드러낸다"고 말합니까?
실제로 통계는 의학에서 물리학, 경제학에서 심리학에 이르기까지 거의 모든 과학 분야를 휩쓸었습니다. 통계 방법을 사용하지 않고는 과학 연구를 수행할 수 없습니다. 문제는 통계는 데이터 처리에 관한 과학이고 인간의 두뇌는 데이터를 처리하도록 설계되지 않았다는 것입니다. 아무리 똑똑한 사람이라도 통계를 이해하지 못하거나 통계를 잘못 사용하기 때문에 실수를 할 수 있으며, 이는 심지어 비참한 결과를 초래할 수도 있습니다.
1. 슈퍼베스트셀러의 문제점은 무엇인가요?
슈퍼 베스트셀러 책 'Good to Great'에서 짐 콜린스(Jim Collins)와 그의 팀은 5년에 걸쳐 1,435개 기업의 40년 역사를 조사한 결과 주가가 평균 수준보다 좋은 성과를 냈다는 사실을 발견했습니다. 11개 기업을 대상으로 상세한 조사를 실시했습니다. 그들은 이들 회사의 몇 가지 독특한 특성을 발견했습니다. Collins는 "거의 모든 조직이 우리가 발견한 이념적 틀을 주의 깊게 적용함으로써 성과와 성과를 크게 향상시킬 수 있고 심지어 뛰어난 조직이 될 수도 있다"고 믿습니다.
콜린스 말이 맞나요? 예전에 이 책을 읽었을 때 나는 정말 아무 문제도 발견하지 못했습니다. 그러나 Gary Smith는 자신의 저서 Simple Statistics: How to Easy See Through Serious Bullshit(심각한 헛소리를 쉽게 확인하는 방법)에서 심각한 결함을 지적합니다. 이는 생존 편향에 대한 회고적 연구입니다.
생존 편향과 후향적 연구가 무엇인지 모른다면 이 간단한 질문만 생각해 보세요. "모든 어머니는 여성입니다"는 "모든 여성은 어머니입니다"를 의미합니까?
물론 그렇지 않습니다.
그렇다면 '11개의 위대한 기업은 모두 특정한 특성을 가지고 있다'는 것은 '11개의 위대한 기업은 모두 이러한 특성을 가지고 있는 위대한 기업이다'라는 뜻인가요?
둘 다 아닌 것 같습니다.
이제 문제가 무엇인지 알았습니다.
사후 결과를 토대로 '예측'을 하는 것은 '생존자'를 연구하는 것이기 때문에 잘못된 것이고, 기준을 충족했지만 파산한 '비생존자'도 많고, 그들은 놓쳤습니다. 전체 기업 중에서 가장 실적이 좋은 11개 기업을 선정해 이 11개 기업에 맞는 기준을 세우는 것은 사격 실력이 없는 사람이 벽에 총을 쏘고 총알구멍이 가장 밀집된 곳에 그림을 그리는 것과 같다. . 이 방법을 사용하면 누구나 명사수가 될 수 있습니다.
사실 기업의 성공을 연구하는 것과 개인의 성공을 연구하는 것은 본질적으로 같습니다. 인터넷에 떠도는 '성공한 사람은 다 이런 특징을 갖고 있다'는 기사는 늘 사람들을 몰려들게 만든다. 그 함축적인 의미는 '당신도 그런 특징을 갖고 있으면 성공할 수 있다'에 불과하다. 하지만 통계를 공부하고 나면, 성공한 사람들은 모두 이런 특성을 갖고 있을까? 라고 차분하게 물어볼 수 있습니다.
이들 성공한 사람들은 그저 '생존자'일 가능성도 있다.
2. 수백만 명의 사람들을 실직하게 만든 경제 연구
베스트셀러 책을 잘못 믿었을 때의 결과는 가장 심각한 것이 아닙니다. 잘못된 연구는 잘못된 정부 결정으로 이어집니다. .은 진짜 재앙이다.
2010년 하버드 교수 카르멘 라인하르트와 켄 로고프는 국내총생산(GDP) 대비 연방 부채 비율이 90%를 넘으면 국가 경제 성장이 저해된다는 논문을 발표했다.
부채비율이 지나치게 높으면 경제가 위축된다는 것은 합리적으로 들린다. 실제로 사람들은 이 두 하버드 교수의 견해를 받아들였습니다. 많은 경제학자들이 이 견해에 동의하지 않지만, 그들 중 누구도 심각하게 잘못된 점을 발견하지 못합니다. 일부 유럽 정부는 이러한 견해를 받아들여 지출을 삭감하고 세금을 인상하여 재정 적자를 줄이려고 노력하고 있습니다.
유럽의 긴축 정책의 결과는 비참했습니다. 유럽의 평균 실업률은 2011년 10%에서 2012년 11%, 2013년 12%로 증가했습니다. 실업률이 매년 1%씩 증가한다는 것은 무엇을 의미하는가? 7억 명이 넘는 유럽의 인구 기반을 고려하면, 실업률이 1%라는 것은 매년 700만 명이 넘는 사람들이 실업 상태에 있다는 것을 의미합니다! 이 정책으로 인한 경제적 손실은 이루 헤아릴 수 없을 만큼 크다고 볼 수 있다.
두 명의 하버드 교수가 '부채 티핑 포인트 90%'에 대한 연구에서 정확히 무엇이 잘못됐나요? 2012년에 매사추세츠 대학교 애머스트(Amherst) 대학원생인 Thomas Herndon과 그의 두 지도교수는 원본 데이터를 연구하고 문제를 발견했습니다. 두 명의 하버드 교수가 데이터를 자신들의 이론에 맞게 인위적으로 선별했습니다!
때로는 특정 국가의 데이터를 제외하고, 때로는 특정 연도의 데이터를 제외하고, 때로는 비정상적이고 일관되지 않은 계산 방법을 사용하지만 이러한 "조정"에는 합리적인 이유가 없습니다. 유일한 설명은 다음과 같습니다. 이러한 "조정"으로 인해 계산된 성장률이 이론에 맞게 음수가 되었습니다.
Herndon과 그의 지도교수의 재계산에 따르면, "조정"이 이루어지지 않으면 계산된 성장률은 긍정적입니다. 즉, 결론은 두 하버드 교수의 결론과 완전히 반대입니다.
안타깝게도 너무 늦게 발견되었습니다.
3. 일반 사람들은 통계에서 무엇을 배울 수 있습니까?
이전 사례가 너무 '고수준'이라고 생각한다면 다음의 작은 예를 살펴보는 것이 좋습니다.
쌍서추 복권 살 때 '1,2,3,4,5+6' 조합으로 사시겠어요? 확률이 너무 낮다는 것을 모두가 알고 있기 때문에 이렇게 구매하는 사람은 거의 없을 것이라고 믿습니다! 하지만 어떤 조합이든 나타날 확률은 실제로 동일하다는 점을 잊지 마세요.
다음번에 로또 사고 싶은 충동이 생길 때, 사고 싶은 로또에 당첨될 확률은 '1,2,3,4,5'만큼 높다는 사실을 기억해두는 것은 어떨까요? +6". 즉, 작습니다.
『간단한 통계: 심각한 넌센스를 쉽게 간파하는 방법』이라는 책을 읽고 나서 두 가지 생각이 들었다.
첫 번째 생각은 통계가 매우 유용하기 때문에 누구나 간단한 통계를 배워야 한다는 것입니다.
두 번째 생각은 인간은 너무 오류가 많아서 가장 똑똑한 사람도 운명을 정한다는 것입니다. 소크라테스가 옳았습니다. 세상에서 가장 현명한 사람은 바로 자신의 무지를 아는 사람입니다.