この度、大修館書店の『英語教育』（2018年8月号）で、小泉利恵先生の新刊『英語4技能テストの選び方と使い方』（アルク）の書評を書かせていただける機会を得ました。
この本で一番ありがたかったのは第2章の「妥当性理論と妥当性検証」です。Messickを始めとした妥当性に関する理論は必ずしも容易ではなく、私もMessick (1989) を昔読んだぐらいで、妥当性 (validity) の理論と妥当性検証 (validation) について十分な理解を得ることができないままでいました。それをこの本は丁寧に説明してくれたので、ある意味、テストの本質ともいうべき妥当性と妥当性検証についての理解が深まったように思います。
そういった理論編だけでなく、第4章の「テストを適切に選び、使う方法」といった実践編もきわめて有益でした。特に測定の標準誤差 (standard error of measurement) を扱ったあたり (pp. 200-205) の情報は貴重で、テストに関わる者すべてが共有すべき知識だと考えます。
標準誤差 (SEM) とは、一人のテストスコアが誤差でどの程度変動するかを意味します。例えばTOEICリスニング・リーディングのスコアの標準誤差は約25点で、これは68%の確率で正しいと考えられる推定をするなら、スコアは実際に得られたスコアは25点上下する可能性があること（および95%の確率で正しいと考えられる推定をするなら49点の上下変動をする可能性があること）を示しています。（p. 201) TOEFLのPBTもしくはITPでしたら、スコア全範囲が310-677点で測定の標準誤差が約14点で、これも68%の確率で正しいと考えられる推定をするなら約14点のスコアの上下変動の可能性が考えられること（および95%の確率で正しいと考えられる推定をするなら約27点ほど上下にスコアが変動する可能性があること）を示しています。 (p. 202)（注）
（注）これらのデータは下記から得られたそうです。
Educational Testing Service. (2015). TOEIC examinee handbook:
Listening and Reading. Princeton, NJ: Author.
Educational Testing Service. (2016). TOEFL ITP test taker handbook.
Princeton, NJ: Author.
さらにこの第4章のコラムの「4技能テストが大学入試に導入されたときの波及効果の予測と、各利害関係者が取るべき行動」は具体的な指針となっており、これも私たちが共有すべき知識となっています。
第4章で、私が個人的に強く共感した部分は以下です。
英語力自体を伸ばす活動をしていると、テスト対策をしていないように見えるときもあります。そうするとテストを中心に指導してほしいという要求が、生徒や保護者からもあるかもしれません。しかし、テスト対策と明らかに分かるような活動だけをすることには弊害が多くあります。長期的に見て、全体的な英語力が十分伸びず、テストスコアも停滞すること、またテストスコアをあげることが最大の目的になり、英語学習への意欲が持てなくなること、偏った知識・能力を持つことになり、テスト以外の場面で英語を使う機会があった時に使えないことなどです。テスト対策ばかりを行うことで、こうした目に見えない損失があることを伝えた方がよいと思います。 (p. 191)
この箇所には「生徒や保護者へ説明する」という小見出しがついていますが、私はこれは政治家・政策決定者にもきちんと説明しなければならないことでもあると考えています。
ちなみにこれと同じ論点は、日本言語テスト学会のホームページの
「大修館書店『英語教育』2017年5月号に掲載された、提言と解説」（日本語PDFファイル）
の（注8）にも掲載されています。
また同じく私の個人的な興味を捉えたのは、TOEFL Junior Comprehensive, TEAP, TOEFL iBT, TOEIC受験者である日本人高校生・大学生において、4つの技能がすべてCEFRの同じレベルに入った人は9-29%にどとまり、ほとんどの人はどれかの技能が得意か苦手という偏りがあったことです。 (p. 33. 文献情報は、小泉利恵・印南洋 (2018). 「日本人英語学習者の4技能レベルのずれの特徴―TOEFL Junior Comprehensiveの場合―」 第43回全国英語教育学会島根大会）。
私は、以下の本で、平均値だけで物事を判断する危険性を学んだので、この報告を読んで「やはりそうか」と意を強くしました。（この本もまとめたいのですが、いかんせん時間がありません（泣））。
Introduction of The End of Average by Todd Rose (2017)
平均の発明 Ch.1 of
The End of Average by Todd Rose (2017)
いかにして私たちの世界は標準化されてしまったのか Ch.2 of The End of Average by Todd Rose
と、ここでは悲観主義的に考えることの多い私の認識を反映して、テストの否定的な部分ばかりを取り上げましたが、本書のスタンスは「テストの利点を最大限に利用し、テストのプラスの波及効果を起こす」ために、「言語評価リテラシー」（テストを活用する力）を高めることです。 (p. 262) この点は誤解のないようお願いします。
著者が、長年に渡りテスト研究に従事してきた良心的な学者であることは巻末の参考文献や用語解説を見てもわかると思います。これは自戒のことばですが、仮にも言語教育研究・英語教育研究という看板を掲げるなら、きちんとこういった本を読んでおかなければならないと考えます。
追記
この本の第2章で得られた理解をもとに、私なりに大胆に言い換えを試みるなら、言語テストは決して身長計や体重計のような直接的な測定器具ではないということです。身長計でしたら、人間がそこに立てば直接的にその身長が数値として現れます。体重計にしてもそこに表示された値はそれがそのまま体重です（計器に狂いはないということがもちろん前提ですが）。しかし、テスト得点は、その人の「英語力」を直接に示しているわけではありません。「英語力」といった構成概念―人間が人工的に考えた概念―をいくつもの段階での推論を通じて数値化しようとするのがテストです。上記の測定の標準誤差のことも考え併せると、数回のテストでもって、その人の「真の英語力」なるものが測定できるというのはとんでもない思い違いといえるでしょう。
*****
締切 (6/30) 迫る！
若い皆さんの声を聞かせてください！
若い皆さんの声を聞かせてください！
第2回英語教育小論文コンテスト
10代・20代が考える英語テストのあり方
最優秀者には図書券一万円を贈呈の上、
広大教英学会シンポジウムにご招待！
締切：2018年6月30日（土）
チラシ画像をクリックすると拡大します。
チラシ画像のPDF版ダウンロードはここをクリックしてください。
投稿
0 件のコメント:
コメントを投稿