研究の再現可能性について -- 『心理学評論』（Vol.59, No.1, 2016)から考える

『心理学評論』（Vol.59, No.1, 2016)は、「心理学の再現可能性：我々はどこから来たのか　我々は何者か　我々はどこに行くのか」を特集し、『心理学評論』始まって以来の試みとして電子版をオープンアクセスにて公開しました。

『心理学評論』（Vol.59, No.1, 2016)

特集「心理学の再現可能性：

我々はどこから来たのか　我々は何者か　我々はどこに行くのか」

http://team1mile.com/sjpr59-1/

「今回取り上げたトピックが，心理学界全体にとってそれだけ重要な問題であるという証左だろう。多くの人々に読んでいただきたい」という編者の思いが「巻頭言」でも語られています。

奇しくも私は、全国英語教育学会埼玉大会で「英語教育実践支援研究に客観性と再現性を求めることについて」という口頭発表を行います（8月20日（土）10:00-10:30 第25室）。ですからその準備も兼ねて、ここにこの『心理学評論』を私なりにまとめておきます。なお、この号はオープンアクセスなので、引用に関する著作権上の制限は少ないと判断し、以下では多くの引用をしていますことをお断りしておきます。



■　心理学研究論文の再現可能性は40%？

まず、巻頭言で、友永雅己・三浦麻子・針生悦子（「心理学の再現可能性：我々はどこから来たのか　我々は何者か　我々はどこへ行くのか」(pp.1-2)）（http://team1mile.com/sjpr59-1/preface/）は、過去の心理学の研究論文について追試を行ったところ、結果が統計的に再現されたものは追試実験全体のうちの 40% に満たないという衝撃的な論文が2015年にScience 誌に掲載された（Open Science Collaboration, 2015）（http://science.sciencemag.org/content/349/6251/aac4716）ことを述べ、再現可能性（reproducibility)について考えることの重要性を説いています。

ここでいう「再現可能性」の一般的理解は、科学研究の根幹をなす特徴のひとつであり、諸条件を人為的に統制・操作し従属変数を測定する際に、およそ同一の統制や操作がなされたとき一致した測定結果が得られる程度、といったものでしょう。（大久保街亜（「帰無仮説検定と再現可能性」(pp.57-67）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/okubo.pdf）のp.57の記述より）

ですが、その再現可能性が思うほど高くないというのが、ここでの問題提起です。特集号では、研究の再現可能性を高めるための具体的提言もなされていますが、ここでの私のまとめは、「そもそも再現可能性を求めることが何を意味するか」といった関心からなされたものです。



■　PLACE: Proprietary,Local, Authoritarian, Commissioned, Expert workが科学の実態？

実は研究結果の再現性が高くないことは、心理学だけでなく、医学や生命科学でも問題になっています。この背景にある事情について、佐倉統（「科学的方法の多元性を擁護する」(pp.137-141)）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/sakura.pdf）は、科学の駆動原理が"CUDOS"から"PLACE"へと変容してしまったことを指摘しています。(p.138)

"CUDOS"とは科学社会学者の Merton （1973）が提唱した概念で、科学者はCommunalism （知識の公共性），Universalism（普遍性）， Disinterestedness （利害への無関心）， Organized Skepticism （組織的懐疑主義）に基づき研究活動を行っているというものです。しかし現在ではこれは理想的主義すぎて科学の実態をうまく表現できないとも考えられています。

そこで提唱されたのが物理学者で科学技術社会論者でもある Ziman（2000）による"PLACE"概念です。すなわち、科学者を実際に突き動かしているのは、Proprietary （知識の独占）， Local （局所性）， Authoritarian（権威主義）， Commissioned （権力からの委託），Expert work （専門家主義）であるという考え方です。これは産学の融合が高くなったことが原因で、だからこそ産学融合が著しい医学や生命科学で、再現性が低い研究が量産されているという共通理解が成立していると佐倉はまとめています。(p. 138)

心理学は、医学や生命科学ほどには金銭的な利益に直結していませんが、それでも社会的関心は高く、何より "publish or perish"の圧力はますます強くなっていますから、再現性が低い研究でもとにかく出版するという傾向が芽生え始めているのかもしれません。（英語教育研究においても、昨今は一部の研究がそれなりに"PLACE"によって進められているようにも思えますが、それについてはここではこれ以上述べません）。



■　決して容易ではない研究結果の再現

しかし、もちろんほとんどすべての心理学者は良心的であり、故意や悪意で再現性のない研究を公刊しているわけではありません。そもそも心理学で研究の再現可能性を確保することは、容易なことではありません。心理学の中でも、動物を対象とするため侵襲的研究手法も使えるため再現可能性を担保しやすいとも思われるシステム神経科学でも、「動物の扱い方や飼育状況，訓練履歴，報酬として与える飼料や飲料，電極の刺入速度，安定させる時間，活動電位を単離する方法など，多くのパラメータや方法のわずかな違いが存在し，それら全てを論文に書くことはできないことが多い」と鮫島和行は述べています。（「システム神経科学における再現可能性」 (pp.39-45)）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/samejima.pdf）のpp.40-41）



■　観察研究やフィールド研究を行う心理学者の見解

また、現在の心理学では主流ではないかもしれませんが、自然場面での人間を対象とする観察研究では、「直接的な追試を行える可能性はかなり低く，仮に無理をしてオリジナル研究の観察条件に近づけようとすると，自然観察がモットーとする生態学的な妥当性（Bronfenbrenner, 1979/1996）が損なわれ，研究自体が成り立たなくなる可能性すらある」と小島康生は述べています。（「人間の観察研究における再現可能性の問題」(pp.108-113)）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/kojima.pdf）のp.111）。

さらに小島は、「現在の再現可能性の議論は，一部の，しかも実験系の研究テーマでの議論に大きく偏っており，心理学全体を包括するようなものには進展していない」(p.112)ことを指摘し、そもそもエスノグラフィーや参与観察では「他者による追試という発想自体が存在しない」し、そういった考え方は「本特集号で多くの執筆者が述べていることからすると、180 度発想の違う考え方だが、心理学の世界ではそういった視点もあることをぜひとも頭に留めておいていただきたい。」(p.112)と訴えています。

また、松田一希（「フィールド研究の再現性とは何か？」(pp.114-117)）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/matsuda.pdf）は、少なくとも論文冒頭では、「野生霊長類を対象に研究をしている私には，「研究結果の再現性」とは，ピンと来ない言葉である。それほど問題ととらえる機会がないからだ。」(p.114)と述懐しています。



■　実践支援研究で再現可能性を高めるために

私は英語教育（言語教育）で、実践支援研究を行うには、研究の認識論はどうあるべきかという関心をもっています。

関連記事：比較実験研究およびメタ分析に関する批判的考察　--『オープンダイアローグ』の第９章から実践支援研究について考える--
http://yanaseyosuke.blogspot.jp/2016/08/blog-post.html

その関心からすると、この特集号で網羅された心理学研究の種類の中で、英語教育などでの実践支援研究の形にもっとも近いと思われるのは、平井啓（「心理学研究におけるリサーチデザインの理想」(pp.118-122)）（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/hirai.pdf）が報告している研究でしょう。平井は、厚生労働省科学研究費のプロジェクトとして，認知行動療法の一つである問題解決療法のプログラムを日本人のがん患者向けにアレンジしたものを開発し，その有効性を前後比較研究により検証する研究に責任研究者として関わった経験をもっています。(p.118)　そのプログラムでは「プロトコール」と呼ばれる研究計画書が決定的に大切です。

平井は次のように報告しています。

そのプロトコールでは，「どんな人を対象に，どんな介入を行い，何と比較し，どのようなアウトカムをどのくらい改善するのか」，すなわち Patients, Exposure,Comparison, & Outcomes: PECO （福原， 2008）と呼ばれる研究テーマ（リサーチ・クエスチョン）を構造化するための定式に従って，それらを事前に設定しなければならなかった。加えて介入で使用する教材や介入者の訓練も含めてプログラムの開発を行いながら，「班会議」と呼ばれる 3 ヶ月～6 ヶ月毎に開催されるリサーチミーティングでプレゼンテーションとディスカッションを行い，研究を実施するために必要なことについて，PECOを満たすように決めていった。ここで求められていたことは，プロトコールが完成する段階で研究の知的作業のうち 8 割が終わっているということであり，あらゆる可能性を考えることが研究班の研究者たちから容赦なく求められた。最終的には，無作為化比較試験をするのか，単純な前後比較試験をするのかという狭い意味での研究デザイン，さらにデザインにもとづくサンプルサイズを計算し，データ取得後の統計解析方法，研究組織と役割分担，データの管理方法を含む倫理的配慮の内容についても詳細に記載することが求められた。(pp.118-119)

この報告を受けて、「英語教育界でもこういった研究を行うべきだ」と考える人もいるかもしれません。しかし、ここからは完全な私見ですが、直接生命に関わる医学研究と比べると、英語教育研究といった研究は、研究予算も研究者数も圧倒的に乏しいものです。私の感覚では、上のようなプロトコールを定めた実践支援研究を英語教育界で行うことを期待するのはあまりにも非現実的です。

もちろん科研などで高額予算を獲得したら、こういった研究も不可能ではないでしょうが、私は上述の「比較実験研究およびメタ分析に関する批判的考察」でも述べたように、そういった研究方法で得られる知見は少なく、投入された研究予算と人的資源にみあったものにはならないと思っています。

それよりも私は、現場の教員を当事者として巻き込み、日本の英語教育界の実態にかなった研究の方法を確立する方がはるかに現実的であり、効果的だと考えています。とはいえ、この話をし始めると長くなるので、ここでは『心理学評論』のまとめに戻ります。



■　再現可能性を「目的」にしてはいけない

私自身がこの特集号から学んだことは、以下に引用する二つの見解で総括することができます。

一つ目の見解は渡邊芳之（「心理学のデータと再現可能性」(pp.98-107)（http://team1mile.com/sjpr59-1/wp-content/uploads/2016/07/watanabe.pdf）によって示されています。心理学が対象とする現象の複合性を考えると、いたずらに再現可能性を高めることを研究の目的にしてしまうと、そもそも心理学としての妥当性を失ってしまうのではないかというものです。少し長くなりますが、引用します。

自分たちが研究対象にしている現象について，どのくらいの再現性が求められ，かつ可能であるのかについての理論的・方法論的な検討をさらに進めて，問題ごとに必要な再現可能性をあきらかにして，その実現を目指すことが求められるだろう。

その上で，再現可能性を「目的」にしないことが重要である。データや研究成果の再現性はしばしば「科学であること」の条件とされているために，再現性は高ければ高いほど望ましく，それによって心理学も科学の仲間入りができるというような考えが起きやすい。しかし，先にも述べたようにわれわれ心理学者が扱う現象には非常に多くの変数が関わっていて，そのわずかな変動によっても心理現象は大きく変動するし，そうした変数のうちかなりの部分は今後も潜在変数のままで残る。それだけでなく，対象とする現象自体の生起確率が低い可能性も常に残る。

必要な再現性の大きさは研究対象や研究の目的，方法によって異なるはずだし，低い再現性が検出されることのほうが現象を妥当に反映している可能性もある。データの再現可能性はあくまでもわれわれが研究対象とする現象を正しくとらえるために参考にできるさまざまな指標の一つに過ぎない。再現可能性のために他の重要なことを犠牲にする必要はなく，自分たちの研究や対象や研究目的に応じて，現象を正しくとらえるための他の基準とうまくバランスをとりながら，適切な再現性のレベルを決めて実現すればよい。(p.105)

■　研究の多元性を大切に

佐倉（上掲）もこの渡邊の見解に同意しています。

渡邊（2016）が述べているように，比較的単純な系や，変数の制御が容易な系を対象として洗練されてきた手法（再現性確保もそのひとつ）を金科玉条のように唱えて最優先事項とすることは，場合によっては，本来その学問領域や研究者が共有していた問題群を置き去りにしてしまう可能性がある。動物行動学や文化人類学などのフィールドワークが，直接観察や質的研究法を採用してきたのは，定量性や再現性だけを強調することの不利益を認識していたからである（Dawkins, 2007；Flick, 1998/2009）。(p.140)

再現可能性を高めることだけが科学的方法でもないし，心理学において最重要な選択肢とも限らないはずである。科学的方法は，合理性を担保していさえすれば，多元であってよい。むしろ多元性を積極的に許容する方が，科学的に興味深い現象をすくい上げることができるであろうことは，上で述べたとおりである。(p.140)

もちろん、このように述べると、今度は「合理性とは何か？」という認識論的問題が出てきますが、それは実践者の共感的理解を得られる研究の実現のために試行錯誤する中で考えればいいわけです。私は、英語教育界も、もっと積極的に研究の多元性を認めるべきだと考えています。


これまで日本の英語教育研究は、心理学の古典的な（そしてこの特集号を読む限り、今でも主流の）実験研究を追いかけることが研究の進歩であると思い込んでいた節があります。人的資源が少ないところでそのような思い込みが強かったものですから、1990年代頃から心理学の中でも台頭してきた質的アプローチを研究する研究者も少なく、英語教育界の多くの研究者はそういった新しい研究のあり方を長い間排除してきました（「そんなのは研究ではない！」という（実は勉強不足からきている）を私も何度も何度も聞きました）。

昨今は英語教育界でも流石に質的研究なども認め始めましたが、研究者が先行分野の真似をすることで研究者としての優位性を保とうとすることからすれば、英語教育界でも今後ますます再現可能性・再現性を追求してゆくようになるでしょう（既にその兆しはあります）。

そういった方向で研究を推進している人を敵にまわすような言い方になりますが、私はそのような方向は、英語教育の研究と実践の実態を考えるととても非現実的で、ますます研究者と実践者の間の溝を深くすると思います。

英語教育界に与えられている課題の大きさと、英語教育界が有する限られた資源の両方を天秤にかけて考えると、私は先程も簡単に述べましたように、研究をますます象牙の塔にこもらせる方向ではなく、より多くの実践者を研究に誘う方向で、英語教育における研究のあり方を考え、新たな研究の実践を創造すべきだと考えます。

上に「敵にまわすような」と言いましたが、反面、私は英語教育界の若い世代の力と誠実さを信じてもいます。次の全国英語教育学会埼玉大会でも、衆知を合わせて英語教育を活性化できるような語り合いができればと願っています。