On Qualitative and Quantitative Reasoning in Validity （質的研究と量的研究における妥当性の考え方）

以下は、ある読書会に参加した際に作成したお勉強ノートです。

心理測定学の背景をもつRobert Mislevyと談話分析を得意とするJames Geeと統計的アプローチと解釈的 (interpretative) アプローチの両者を視野に入れようとするPamela Mossの間の対話に基づくこの章は非常に生産的で、私としては質的研究のあり方を確認すると同時に、（単に数字を出すだけではない）きちんとした量的研究の良さを再認識することもできました。

On Qualitative and Quantitative Reasoning in Validity

Robert J. Mislevy, Pamela A. Moss, and James P. Gee

Generalizing from Educational Research: Beyond Qualitative and Quantitative Polarization (pp.67-100). Taylor and Francis.

■　一般化は推測である

要約：一般化とは推測である。特定の状況と時間における特定の研究対象を超えて、その他の状況や時間や対象についての解釈や決定や行為を支援する場合、そこには一般化がある。 (p.68)

■　通時的な分析

要約：共時的な見方 (synchronic view) ではなく通時的な見方 (diachronic view) で研究をすることができる。ある時点での観察に基いて特徴を抽出し、それが研究対象の「本質」 (nature) の「真」 (true) を捉えているかという研究ではなく、特徴をさまざまな時間と空間を経て (through times and spaces) 生じた軌跡 (trajectories) としてとらえる研究である。軌跡は、観察時における研究対象が存在した時間と空間によって生み出された特徴、および、研究対象がそれまでくぐり抜けてきた時間と空間に応じて変化してきた特徴の両方を有するものである。 (p.75)

■　「研究対象のような・・・」という一般化

要約：たとえばJanieという児童対象とした研究の結果を一般化する際には、「Janieのような」人々について推測するわけであるが、この「Janieのような」という表現が曲者 (tricky) である。それが意味するのは「女の子」「四年生の女の子」「四年生」「アフリカ系アメリカ人」「中産階級の子ども」のどれなのだろうか？妥当な一般化のためには模型的理解 (model) が必要である。(p.76)

■　模型的理解が役立つかどうかでその妥当性が決まる。

要約：ある模型的理解（モデル）に妥当性 (validity) があるかどうかは、それが役立つか (it "works") かどうかできまる。教育理論の場合、その模型的理解を用いることによって、多くの学習者の支援ができればそれには妥当性がある。しかし、実践者は常に新しくよりよい模型的理解 (new and better models) を求めているものである。 (p.77)

■　典型的な行動記述の文法

翻訳： 私たちの言語の文法の基盤は、「行為者（主語）が何か（目的語）に対して行為する（動詞）」である。たとえば「ジャニーがリーディングの試験を落とした」である。 (The grammar of our language is built on a pattern of ACTOR (Subject) ACTS (VERB) on SOMETHING (Object) as in "Janie failed the reading test.")　(p.77)

■　社会文化状況的な見解の文法

翻訳：社会文化状況的な見解によれば、上記の文法は誤っている。結果や成果は、複数の行為者の間での相互作用および相互作用の歴史の中から生じてくるのだ (flows from)。行為者が存在している状況。従事している活動。状況や活動およびそれらに含まれているすべての事柄についての解釈。その他の行為者による相互作用や参加。状況で利用された媒介的な手立て（対象物、道具、テクノロジー）。相互作用が生じた時間と空間。これらの混沌は「システム」と呼ぶことができる。「活動システム」 (activity system) や「行為者-行為体ネットワーク」 (actor-actant network) と呼ぶ者もいる。したがって私たちの教育研究と教育評価の文法は「行為者（主語）が何か（目的語）に対して行為する（動詞）」 (ACTOR ACTS on SOMETHING) ではなく、「結果XがシステムYから生じる」 (RESULT x FLOWED from SYSTEM) といったものであるべきだ。　(pp.77-78).

※　"actor-actant network" はある理論の一派の名称のようですが、残念ながら私はこの理論をきちんと理解していません。

■　リーディングに関する二つの見解

要約：リーディングに関する以下の二つの異なる見解がある。

(1)　「活字を解読して辞書的意味を与える。だが、この意味だけでは実際の理解をする不十分」こと。

(2)　「テクストを自分の世界理解と関連付けること」 ("relate the texts to your understanding of the world")

現状のテストはたいてい (1) のリーディングをもって「活字から意味を引き出す」(to draw meaning from print) こととしているが、現実世界でのリーディングとは (2)  を意味する。(p.78)

■　リーディングテストは、読書生活の軌跡の一点に過ぎない。

翻訳：こんなシステムを想像してほしい。リーディングテストの得点をジャニーに付けて終わりとするのではなく、ジャニーがある特定の日に特定のテストでどうだったかということが、ジャニーの読書生活・読み書き能力・学習の軌跡の（模型的理解の）多次元的な空間の単なる一点としてどのように位置づけられるかを示し、さらに、「ジャニーのような」子どもおよび他の種類の子どものそのような軌跡の(模型的理解の）多次元的な空間においてもどのように位置づけられるかを示すシステムである。そのような視点を取れば、ジェニーが受けたリーディングテストも、それ自身が彼女の軌跡における一つの出来事（読み書き能力に関する一つの出来事）に過ぎないということを実感しなくてはならない。テストが軌跡のすべての上に超越し、軌跡全体に対して「判定」を下す (judge) ことなどできないのだ。(pp.78-79).

■　推論の三つの水準

翻訳：(a) 生徒の生きてきた時空の「軌跡」の模型的理解 (models of students' "trajectories" through time and space)。だが、生徒に関してある時点で推論をした場合、その推論はその生徒のそれまでの経験に関する知識の観点から解釈されなければならないということを認識している。(b) これらの模型的理解の模型的理解 (models of these models)。それによって、調査した生徒と似た生徒に関して推論すること -- 一般化や予測 (predictions) をすること -- が可能になる。そして究極的には、(c) 調査した生徒をその一部として含む複合的で動態的な活動システムの理論 (theories of the complex and dynamic activity systems of which students are a part.) (p.80)

■　「偉大な」統計学者は四つの水準の相互作用を理解する

翻訳：「偉大な」統計学者は、この問題 ［ある学習者のある状況での学びの様子の文化誌的 (ethnographic) 記述をどう一般化するか］ に、以下に区分されている四つの水準の相互作用 (interplay) を理解することで対応しようとするだろう。

1　調査されたすべての教室でのすべての時間に生じた独自の相互作用 (unique interactions)

2　上記の場所 (location) で私たちが識別し特徴づける (discern and characterize) ことができたパターンや定常性 (patterns or regularities)。これらは質的なものでも量的なものでもあるいは両者の混交でもよい。

3　上記の第二水準の要約を含む一連のデータ (Data sets containing the summaries from Level 2)

4　確率論に基づき、上記の第三水準のデータのパターンを特徴づける模型的理解 (Probability models that models that characterize patterns in the Level 3 data) (p.87).

※　ちなみに、著者が「偉大な」統計学者として例に挙げているのは、John Turkey と Edwards Demingである。

■　「悪い」統計学者は第三水準でしか仕事をしない。

翻訳：「悪い」統計学者 (a “bad” statistician) は、第三水準のデータに模型的理解を当てはめる。そのデータを吟味することなく、模型的理解を設定し (with the data taken as is, models plunked onto them)、その模型的理解から機械的に解釈を導き出し、データに含まれていたさまざまな変数に関する総括的記述 (summary description) を行う。このような研究は、学術誌や教科書や政策決定過程 (policy deliberations) のいたるところにみられる。 (p.87)

■　「良い」統計学者は第四水準の手法を用いて第三水準のデータに対して一種の解釈学的な分析を行う。

翻訳：「良い」統計学者 (a “good” statistician) は、第四水準の手法 (techniques) を用いて、第三水準のデータに対して解釈学的分析に相当する分析 (what amount to a hermeneutic analysis) を遂行する。研究者が知っている実質的な状況 (substantive situation) に基づいているパターンを発見し特徴づけることに確率論を用いる。さらに、そのパターンで説明できない残りの部分の中に見られるパターン、つまり私たちの理解を豊かにしてくれる実質的で意味深い新しいパターンを示唆するパターンに光をあてることに確率論を用いる。(p.87)

■　テスト得点の意味ではなく、受験者がテストで行ったことの意味およびテストが受験者に対してもつ意味

翻訳：パムとボブの二人の発言を読んだ時、私は「生徒が何を知っているのか」 ("what students know" ) (NRC, 2001) という表現（本の題名でもある）に驚いてしまった。教育における評価テストとはたいていの場合、人が -- 生徒や教師や他の人が -- 何を知っているかについて探ることである。言語と学習に関する社会文化的アプローチを取る者は、言説分析を行う者は特にそうだが、そのような問いを立てない。彼ら・彼女らが立てる問いはそれとは似ているが異なる問い、つまり「人は何を意味しているのか」 (What do people mean?で) ある。いかなる人がいかなる反応をいかなる種類の評価テストでおこなったとしても、評価テストの心理学者は、「その反応が何を意味するか」 (what the response means) を問うだろう。しかし私たち、社会文化的言語の人間は、まず最初に最大の関心をもって、「その人はその反応によって何を意味したのか」 (what did the person mean by the response) を問う。同時に私たちは、「その評価テスト自体（設問や課題）はその人にとって何を意味するのか？」 (p.91)

■　評価テストが悪影響を与える場合についても考える。

翻訳：しかし、評価テストがどのような働きをしているのか、どのような目的を果たすことになっているのか、そしてどのような目的を意図せずに果たしてしまっているのかについて問うことは重要である。評価テストは学習者自身が自分自身の学習について判断をすることの役にしばしば立っている。他の人が学ぶこと、そしてよりよくより深く学ぶことを支援しようとしている人の役に立つこともしばしばある。しかし、しばしば評価テストは、学習者と教師が必要としていることに応える以上に直接的に制度が必要としていること (the needs of institutions) に応えている。時にいい意味で、時に悪い意味で。これまで論じてきたように、推論や一般化がテスト得点だけに基いて、より詳しい視点を取って初めて明らかになる詳しいプロセスとパターンとの関連を失ってしまった時、推論や一般化に関する誤りが生じてしまう。望ましい学習とそれを支援する実践の全体像は、たとえば大規模テストの得点集計からは十分に見えることがない。それゆえ、学習活動と評価テストシステムが食い違い、個々人にとっても制度にとっても間違った解釈と意図しない不公正な結末が生じてしまうのだ。 (p.98)

■　制度により成立している実在性によって人々の考え方が決められてしまう。

翻訳：さらに、いかなる社会政策や社会科学の研究においても起こりうることだが、人々は制度化された政策、実践、そして信条 (institutional policies, practices, and beliefs) によって直接・間接に影響を受け、それらを内在化し、自分自身や他人そして社会をそれらによって判定してしまう。 かくして、社会全体が、学習や能力や知性や価値とは何かということに関する社会的な模型的理解を、制度により成立している実在性 )institutional realities) から採択するようになってしまう。そして、制度により成立している実在性は専門家の影響を社会に伝える素材となるため (thanks to the way institutional realities mediate these professionals' influence on society) 、「普通の」人々 (people "on the ground") の人生は、評価テストの専門家と彼・彼女らが開発するテストによって大きく影響される。ジャニーの学習を支援する人々がメシック (Messik) やヴィゴツキーやガダマーが評価テストに関してもつだろう洞察について探求する時間がないからこそ、私たちが行動し行為することが倫理的な義務となるのである。(p.99)

関連記事
Generalization from Qualitative Inquiry by M. Eisenhart （質的研究からの一般化について）
http://yanaseyosuke.blogspot.jp/2017/09/generalization-from-qualitative-inquiry.html