[틀리지 않는 법] p해킹

당신이 어떤 분석을 했는데 p 값이 0.06이 나왔다면, 당신은 마땅히 그 결과가 통계적 유의성이 없다고 결론 내려야 한다. 하지만 몇 년 동안 해온 작업을 서류함에 처박아 버린다는 것은 엄청난 정신력이 필요한 일이다. 그러고 보면 한 피험자의 수치가 약간 이상해 보이지 않는가? 어쩌면 그것이 예욋값일 수도 있으니, 스프레드시트에서 그 줄을 날려 보자. 참, 연령을 통제했던가? 바깥 날씨를 통제했던가? 연령과 바깥 날씨를 둘 다 통제했던가? 이렇게 통계적 시험을 조정하고 삭제할 재량을 스스로에게 부여하면, 종종 0.06을 0.04로 낮출 수 있다. 펜실베니아 대학 교수로서 반복 가능성 연구의 선구자인 유리 시몬손은 이런 관행을 [p해킹]이라고 부른다.

 

과학자들은 남들이 듣지 않는 곳에서는 이런 관행을 가리켜 <데이터를 고문해서 자백 받아 내기>라고 부른다

. 그 결과의 신뢰도는 완력으로 끌어낸 자백의 신뢰도 정도밖에 되지 않는다.