이미지로 LoganArt · Pixabay의

널리 받아들여진 많은 과학적 이론들은 후에 잘못된 것으로 판명되었습니다. 기사 쇼. 어떻게 이런 일이 일어날 수 있습니까?  

첫째, 과학은 여전히 ​​발전하고 있으며 많은 기본 현상에 대한 우리의 이해는 아직 완전하지 않습니다. 또 다른 이유는 적어도 우리 행성에서 과학은 인간에 의해 수행되고 우리 인간에게는 많은 결점이 있기 때문입니다. 다양한 종류의 편견, 자금 조달 갈등, 자존심, 순전한 무능력은 모든 연구를 약화시킬 수 있는 매우 인간적인 것 중 일부입니다.  

과학자들은 때때로 그것을 옳게 이해하지만 그것을 보고하는 사람들은 그것을 잘못 이해합니다. 과학자로 일한 언론인은 거의 없으며 대부분은 독자 또는 시청자 대다수보다 과학 교육을 받지 못했습니다. 그러나 공정하게 말하자면, 내가 에서 지적한 바와 같이 많은 과학자들 자신이 연구 방법과 통계에 대한 제한된 과정을 가지고 있었습니다. 과학자들도 저지르는 통계적 실수.

피어 리뷰는 때때로 chum 리뷰와 유사할 수 있으며, 게다가 일부 연구는 피어 리뷰를 전혀 거치지 않고 첫 페이지를 장식합니다. 과학 출판물의 편집자와 검토자는 통계학자가 거의 없습니다. 통계학자도 많지 않고 일상 업무도 있습니다. "더 부드러운" 분야에서는 표준이 훨씬 덜 엄격합니다.  

Null Hypothesis Significance Testing(NHST)은 수년에 걸쳐 통계학자들에 의해 심한 비판을 받아왔습니다. 많은 사람들이 통계 입문 과정에서 이것을 기억할 것입니다. 표면적으로는 간단해 보이지만 NHST는 널리 오해되고 오용됩니다. 

미국 통계 학자 완전한 오픈 액세스를 제공했습니다 발행물 이 주제 및 관련 주제에 대해 설명합니다. 간단히 말해서, 한 가지 중요한 관심사는 p .05보다 큰 값은 통계적으로 유의미한 결과를 가진 값보다 출판이 허용되거나 출판을 위해 제출될 가능성이 적습니다. 이를 출판 편향 또는 출판 편향이라고 합니다. 파일 서랍 문제.  

그러나 "부정적 결과"는 통계적으로 유의미한 결과만큼 중요하며 잠재적으로 중요한 많은 연구 결과는 분명히 빛을 보지 못합니다. 지식의 축적은 과학의 본질이기 때문에 이것은 최근에 와서야 많은 통계학자들이 정당하다고 느꼈던 주목을 받고 있는 심각한 문제입니다. 통계적 유의성은 결정 유의성과 동일하지 않습니다.  

또 다른 이유는 소규모 표본 연구가 많은 분야에서 일반적이기 때문입니다. 거대한 표본이 결과를 신뢰할 수 있다는 것을 자동으로 의미하지는 않지만, 효과 크기 표본이 작을 때 연구마다 훨씬 더 다양합니다. 반대로, 임상적 또는 비즈니스적 중요성이 거의 없는 사소한 효과 크기는 표본 크기가 크고 어떤 경우에는 광범위한 홍보를 받을 때 통계적으로 유의할 수 있습니다. 

많은 분야에서 비실험(관측) 연구가 만연하고 빅데이터 시대에 붐을 일으키고 있는 것 같다. 무작위 실험이 항상 가능하거나 윤리적인 것은 아니지만 이것이 비실험 연구가 충분하다는 것을 의미하지는 않습니다.

나는 이 문제들 중 일부를 다음과 같이 요약한다. 성향 점수: 그것이 무엇이며 그들이 하는 일 과 메타 분석 및 마케팅 연구. 간단히 말해서 효과 크기 추정치는 일반적으로 비실험적 연구에서 더 가변적이며 덜 신뢰할 수 있습니다. 다시 출판 편향으로 돌아가… 

매년 전 세계적으로 수천 건의 연구가 수행되며, 이는 표준이 균일하게 높더라도 나쁜 과학이 많이 있음을 의미합니다. 과학은 어렵습니다. 다음은 주의해야 할 몇 가지 사항입니다.

횡단면 대 종단면 데이터. 원인은 결과에 선행해야 하며 관찰 연구에서 데이터가 시간의 단일 조각과 관련된 경우 일반적으로 이러한 순서를 확인하는 것이 불가능합니다. 그러나 데이터가 한 시점 이상에서 수집되면 가상 원인이 실제로 그 가설 효과보다 먼저 있었는지 여부를 확인할 수 있습니다. 일반적으로 종단 데이터는 변수가 상호 연관되는 방식을 더 잘 이해하는 데 도움이 될 수 있는 광범위한 분석을 허용합니다.

생태학 연구 연구되는 단위 분석이 그룹이고 개별 연구 참가자에 대해 추론할 수 없기 때문에 종종 문제가 됩니다. 연구자들은 종종 노출과 질병에 관한 개인 수준의 데이터가 없습니다.

비확률 샘플링. 추론 통계는 확률 샘플링을 가정합니다. 데이터가 편의 표본 또는 기타 비확률 표본에서 가져온 경우 결과를 일반화할 수 있는 모집단을 알기가 어렵습니다. 

WEIRD 참가자들. 역학 및 약리학과 같은 일부 분야에서는 참가자가 인간이 아닐 수도 있습니다. 예를 들어 쥐에서 인간으로 일반화하려면 많은 가정이 필요합니다. 

선형 무임계 모델(LNT). 이것은 심각한 비판을 받아온 매우 단순한 유형의 용량-반응 모델입니다. 비즈니스에서 선형(직선) 관계는 종종 "용량"(예: 고객 경험 측면)과 "반응"(예: 회사에 대한 전반적인 만족도) 사이에 가정됩니다. 이것은 종종 합리적이지만 항상 그런 것은 아니며 매우 적은 양은 일반적으로 효과가 없고 특정 수준을 초과하면 더 이상 복용량에 따라 독성이 증가하지 않는 것으로 알려진 독성학과 같은 분야에서는 거의 의미가 없을 수 있습니다. 

부적절한 통계 모델. 이는 감지하기 어려울 수 있지만 통계의 의심스러운 사용은 모든 분야에서 드문 일이 아닙니다. 적절한 통계 모델이 부적절한 방식으로 사용될 수도 있습니다.

부적절한 공변량 통제. 이것은 잠재적으로 중요한 배경 변수가 항상 조정되지 않는 관찰 연구에서 특히 일반적입니다. 일부 연구에서는 연령과 같은 연속 변수가 광범위한 범주로 그룹화되어 정보 손실이 발생합니다. 따라서 변수가 "제어"되었다고 주장하는 것은 의심스러울 수 있습니다. 

생략된 변수. 중요한 변수를 사용할 수 없거나 어떤 이유로든 분석에서 제외되었을 수 있습니다. 많은 연구들이 이러한 이유로 비판을 받고 있다.

다른 설명을 고려하지 않음. 여러 원인이 동일한 결과를 초래할 수 있으며, 경쟁적인 설명을 고려하지 않으면 연구의 신뢰성이 떨어집니다. 생략된 변수와 마찬가지로 이는 우발적이거나 의도적일 수 있습니다.

다중 비교에 대한 수정 사항이 없습니다. 동일한 데이터에 대한 통계 테스트는 서로 독립적이지 않습니다. 따라서 표준 .05 알파 수준에서 75가지 유형의 환자를 쌍으로 비교하는 경우 95가지 테스트가 필요하며 비교 집합에 대한 전체 신뢰 수준은 XNUMX%가 아니라 약 XNUMX%입니다. 

대리 변수를 종속 변수로 사용합니다. 종종 결과를 직접 측정하는 것이 불가능하고 연구자는 대리인에 의존해야 합니다. 의학 연구의 예는 특정 질병의 존재를 나타내기 위해 테스트 결과를 사용하는 것입니다. 대리 사용이 반드시 결함은 아니지만 일부 연구에서는 문제가 될 수 있습니다. 

측정 오류에 대한 조정이 없습니다. 대부분의 연구에서는 변수를 오차로 측정합니다. 성격 평가나 적성 측정과 같은 일부 경우에는 오류가 상당할 수 있습니다. 일반적으로 측정 오차는 상관 관계를 약화시키므로 x 과 y 상관 관계 또는 기타 연관 측정을 기반으로 표시되는 것보다 더 강력할 수 있습니다. 설문조사를 괴롭히는 측정 오류 중 하나는 응답 스타일입니다. 예를 들어 응답자가 평가 대상에 관계없이 가장 높은 척도를 사용하는 경향이 있습니다. 

찾을 때까지 내 것 일부 연구자들의 좌우명인 것 같으며, 이것은 하킹. 상황이 일어난다. 이 복잡한 주제에 대해 좀 더 자세히 설명합니다.

평균 회귀 반복되는 데이터의 자연스러운 변화를 실제 변화처럼 보이게 하는 통계적 현상입니다. 비정상적으로 크거나 작은 측정값 다음에 평균에 더 가까운 측정값이 오는 경향이 있을 때 발생합니다. 이러한 현상은 예를 들어 교육 프로그램이나 치료가 실제로는 그렇지 않은데도 효과적이었던 것처럼 보이게 만들 수 있습니다.

“수백만 명이 영향을 받았습니다.” 이와 같은 헤드라인은 통계적으로 XNUMX인 작은 효과 크기를 숨길 수 있습니다. 우리는 고려할 필요가 있습니다 기본 크기 이러한 종류의 무서운 수치가 계산되었습니다.  

새롭고 검증되지 않은 방법론을 사용합니다. 새로운 것이 항상 더 나은 것은 아니며 검증된 방법론이 독립적인 연구자와 통계학자가 아직 조사하지 않은 새로운 방법론보다 일반적으로 더 신뢰할 수 있습니다. 

다른 연구와의 충돌. 논란의 여지가 있는 발견은 패러다임을 깨뜨릴 수 있지만 잘못된 방법론이나 통계의 부적절한 사용을 나타낼 수도 있습니다.

자금 충돌 연구의 신뢰성을 훼손할 수 있지만 자금 조달 충돌에 대한 비난 자체가 의심스러운 방식으로 자금을 조달했을 수 있습니다.

XNUMXD덴탈의 생태학적 오류, 심슨의 역설및 버크슨의 편견 주의해야 할 다른 것들입니다. 

인기있는 인용문 "거짓말, 빌어먹을 거짓말, 그리고 통계마크 트웨인, 디즈레일리 등 여러 사람의 탓으로 돌렸지만 불확실하다. 그러나 기원에 관계없이 지원 당시 막 등장하기 시작한 현대 통계학 분야를 가리킨다. 아마도 통계가 원래 의미했던 공식 수치와 관련되었을 것입니다. 다음은 통계를 속이는 몇 가지 방법입니다.

반복을 통한 '진실' 확립 이것은 매우 일반적인 전술이며 속임수에 대한 저명한 권위자인 Joseph Goebbels가 명시적으로 권장한 것입니다. 주장을 면밀히 조사하는 사람은 거의 없으며, 동일한 사람이나 조직이 심하게 잘못된 것으로 판명된 과거 예측을 기억하는 사람은 아직 적습니다. 

밀짚 남자 주장 그리고 "반박" 와 같이 평범하다. 광고 homemem 둘 다 자신에게 숨길 것이 있는 사람들에게 특히 유용합니다.  

예외로부터 일반화하기 희귀한 사건을 전형적인 것처럼 보이게 하는 것도 인기 있는 전술입니다. 가능한 것과 그럴듯한 것을 혼동하고 그럴듯한 것과 사실을 혼동하는 것은 이 주제의 변형입니다. 

도 있습니다 체리 따기 데이터, 모델 및 이전 연구. 체리 따기의 한 형태는 자신의 케이스를 지원하는 시계열 섹션만 선택하는 것입니다. 데이터를 "조정"하는 것은 완전한 제작에는 미치지 못하지만 관련 기술입니다. 영리하지만 의심스럽다면 데이터 또는 통계 모델의 해석은 비윤리적인 두 가지 무기입니다. 

컴퓨터 시뮬레이션 때때로 오도하는 실험이라고 불리며 시뮬레이션된 데이터의 미묘함이 경험적 데이터로 전달됩니다. 자신의 이론을 "증명"하기 위해 컴퓨터 모델을 만드는 것이 그 어느 때보다 쉬워졌습니다.

사회는 계층적이다 자연과 인간이 선호하는 이분법적으로 생각하다, 따라서 당국이 자주 호출되고 과학 또는 정책 문제에 대한 토론은 종종 좋은 사람 대 나쁜 사람의 취향을 취합니다. 당국이 실제로 믿는 것을 왜곡하는 것 또한 전례가 없는 일이 아닙니다. 

우리는 또한 주파수, 비율및 크기, 그리고 이것은 우리가 매우 염두에 두어야 할 사항입니다. 예를 들어, 정책 입안자들이 그렇게 하거나 하지 않을 경우 수백만 명의 사람들이 영향을 받을 것이라고 읽을 수 있습니다. 그러나 인용된 증거를 자세히 읽어보면 신뢰도 또는 신뢰 구간이 50과 겹치는 매우 약한 효과 크기를 알 수 있습니다. 작은 세력에 수억 또는 수십억의 인구를 곱하면 무시무시한 수치가 나옵니다. 또한 "001% 증가"는 .0015에서 .XNUMX까지를 의미할 수 있음을 명심하십시오.

나는 언급하지 않았다 데이터 시각화, 쉽게 우리를 속일 수 있습니다. 많은 사람들이 그렇게 믿게 된다. 닥치는대로의 실제로 균등하게 분포된 수치가 무작위일 가능성이 매우 낮은 경우에도 의미합니다. 내가 부르는 것도 있다. 두더지를 구타, 그 어떤 비판에도 대응하지 않고 빠르게 연속해서 하나의 모호한 주장을 인용합니다. 

통계적 사고, 과학에서 중요한 인간에게 자연적으로 오지 않는다. 아무도 통계학자로 태어나지 않으며 교육 커리큘럼은 종종 통계를 단축시킵니다. 

요약하면, 엄격한 과학은 도전적이며 모든 연구에 의문을 제기할 수 있습니다. 속임수는 인간 본성의 일부이며 과학자와 언론인, 정책 입안자도 인간입니다. 우리도 연구를 흥미롭게 여기거나 우리를 위안하거나 우리의 믿음에 부합한다는 이유로 연구를 신뢰하지 않도록 주의해야 합니다.

 
 
케빈 그레이 대통령 캐논 그레이, 마케팅 과학 및 분석 컨설팅. 그는 Nielsen, Kantar, McCann 및 TIAA-CREF와 함께 마케팅 연구 분야에서 30년 이상의 경험을 가지고 있습니다.

출처: https://www.kdnuggets.com/2022/01/demystifying-bad-science.html