Scribble at 2024-09-25 09:08:30 Last modified: unmodified
There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.
この中で一つだけ注目したいのは、多くのチームが異なるアプローチで同じテーマに取り組むと間違いが生じやすいという指摘だ。なぜなら、簡単に言えばこれは哲学の研究コニュニティで「伝統的」とも言って良い状況と同じ話をしていることになるからである。少なくとも、哲学のプロパーというのは独自の観点やスタンスで独自の論点を取り上げて研究しているだろうし、そうするべきだと大学でも叩き込まれる。同じテーマや同じ著作物の、これまでに知られている論点について、同じような議論を繰り返して、自分なりの意見を何程か加える・・・それもそれで一つの成果ではあるけれど、たいていのプロパーはそんな演習のレポートみたいなものを「真の哲学的な業績」だとは思っていないはずである。君等にできるかどうか、いややる気があるかどうかすら疑わしいものだが、少なくともそうあれかしと思って大学教員になったであろう。まさか、Cambridge University Press の本を読めて、学生とゼミで（あるいは同僚と教授会で）お喋りすることが自分の「学者人生」だと思ってる人はいまい。
しかし、ここで紹介している論説によれば、無軌道あるいは無根拠な「オリジナリティ」を志向すると、却って大勢でそれぞれバイアスに陥るというわけである。これは、MD ではかなり前から「集合知はただの結果論であり、たいていは凡人の愚論カタログにしかならない」と言ってきたことと同じであり、何か理想的な結論になど収斂しない。いや、収斂することはあるが、それは（凡人のやることなのだから）たいていはエコー・チェインバーによる意見や思考の誘導で形成された偽の合意やアビリーンのパラドクスにすぎない。ただ、それをあげつらうだけでは幼稚なエリート主義やパターナリズムであり、そういうエコー・チェインバーを外から眺められるという、これまた何の根拠もない特権的な立場を自分は得ているという妄想に陥る。
しかしながら、ここで紹介している対策のような提案を見ると、「そんなこと、もともと実行していないのかよ」と言いたくなるほどプリミティブな内容だ。「ランダム化」だの「ブラインド法」だの、サンプルを増やせだの、研究方法を事前に登録しろだの、各種のバイアスを教育しろだの、こんなこと PhD を授けられている者として知らぬでは済まされまい。もちろん、科学哲学で事前に研究方法を申請するとか（誰に？）、ランダム化などと言われても当てはまらないわけだが、これだけサラリーマンですらせっせと読んでいるようなバイアスの簡単な素養ていどは、いまどき哲学の introductory な授業では学生に与えているであろう。寧ろ、こんなことしか提言できないということにこそ、或る意味では驚いてしまうほどだ。こんな基礎も出来ていない人たちが理数系の分野では学位どころか PhD を習得しているのか。