この記事は、8/9（木）の外国語メディア学会（LET）第58回全国研究大会パネルディスカッションの準備の一環です。
*****
Donald T. Campbell
Assessing the impact of planned social change
Evaluation and Program Planning, Vol. 2, pp. 67-90, 1979
この論文は、今や、量的指標が社会に対してもちうる否定的な効果を語る上で古典扱いされている論文かと言ってもいいかと思います。
関連記事：
Wikipedia: Campbell's law
https://en.wikipedia.org/wiki/Campbell%27s_law
What is Campbell's Law. Diane Ravich's Blog. May 25, 2012.
https://dianeravitch.net/2012/05/25/what-is-campbells-law/
Wikipedia: Goodhart's law
https://en.wikipedia.org/wiki/Goodhart%27s_law
著者のCampbell氏は社会心理学あるいは応用社会科学 (applied social science) (p. 68) を専門としながら、各種のプログラム評価 (program evaluation) に携わってきました。彼はその経験から、各種指標によって人間を管理することについてやや悲観的な見解をこの論文で表明しています ( "I am, however ambivalently, to present an honestly pessimistic picture of the problems." (p. 68) )。
現在もよく引用され続け、"Campbell's Law" として知られている箇所は論文の最後の方の「量的指標がもたらす腐敗的な効果」 (Corrupting effect of quantitative indicators) の節にあります。著者は、米国では評価研究 (evaluation research) が社会的な意思決定 (social decision-making) の道具として認められ、いわば政治における投票数のように扱われているが (p. 84) 、専門家としてその実態を見ていると次のような悲観的な法則 (pessimistic laws) を提唱せざるをえないと述べます。
The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor. (p. 85)
拙訳：いかなる社会的指標も、社会的な意思決定に使われれば使われるほどますます腐敗に向かう圧力を受け、それがそもそも観測しようとしていた社会的過程を歪め腐敗させやすくなる。
著者がこの法則の例として挙げているものなかには警察が、科学的管理法 (scientific management) や説明責任 (accountability) や効用計算運用法 (Planning, Programming, and Budgeting System: PPBS) などの影響を受けて、「事件解決率」("clearance rates") の量的指標で評価された事例があります。この指標で評価されるようになると、警察は市民の訴えをそもそも事件としてなかなか記録しなかったり、記録するにせよ解決されてからはじめて記録するようになりました。あるいは司法取引 (plea-bargain) の制度を濫用し、犯罪者に自分が本当にはやっていない犯罪をも告白させ事件解決率を上げ、犯罪者はその取引で罪を軽くしてもらうといった腐敗が起こりました。 (p. 85)
参考
ウィキペディア：ロバート・マクナマラ＞PPBS
https://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%90%E3%83%BC%E3%83%88%E3%83%BB%E3%83%9E%E3%82%AF%E3%83%8A%E3%83%9E%E3%83%A9#PPBS
Wikipedia: Output budgeting
https://en.wikipedia.org/wiki/Output_budgeting
ちなみに、「ベスト・アンド・ブライテスト」とも称されたマクナマラが、ベトナム戦争に関して語ったインタビュー映画「フォッグ・オブ・ウォー」は私のお気に入り映画です。戦争といったきわめて複合的な現象においては計算通りにはいかないという、いわば市井の人々なら誰でも知っていることを、エリート中のエリートであるマクナマラが認めたという点が非常に興味深いです。
話を論文に戻します。
行政の例では、職業安定所 (employment office) が「生産性基準」 (productivity standards) を評価基準にして扱ったケースの数を評価基準とすると、スタッフはすぐに終わるが実は有効ではない面談や職紹介をするようになりました。職紹介だけを評価基準にすると、簡単なケースだけを扱い、もっとも行政の助けを必要としているすぐには仕事が見つからないケースを扱わないようになりました。 (p. 85)
教育の世界でも、学力不振の子どもに「契約指導者」(contractors) をつける制度を導入したものの、その契約指導者の報酬は子どもの学力テスト得点向上 (achievement test score gains) で定められるようになると、契約指導者がテスト問題の答えを予め子どもに教えるなどといった腐敗が生じてしまいました。 (p. 85)
Campbellはテストについては次のように述べ、テストがもちうる破壊的な力について警鐘を鳴らしています。
From my own point of view, achievement tests may well be valuable indicators of general school achievement under conditions of normal teaching aimed at general competence. But when test scores become the goal of the teaching process, they both lose their value as indicators of educational status and distort the educational process in undesirable ways. (Similar biases of course surround the use of objective tests in courses or as entrance examinations.)
拙訳：個人的には、学力テストは、一般的な能力向上のために行う通常の授業がなされている限りにおいては、一般的な学校の成果を測る指標としては貴重なものとなると考えている。しかしテスト得点が授業の営みの目標となってしまったら、テスト得点は教育の状態を示す指標としての価値を失い、教育の営みを望ましくない方向に歪めてしまう。（同じような歪みは客観式テストを科目や入試の評価指標として使う場合にももちろん生じる）。
Campbellはこのような腐敗が米国に限った話ではないことを示すために、（当時の）ソ連の例を出します。ソ連の工場でいくつかの量的指標が統計的な記述目的のためだけに使われていた時には問題はなかったのですが、それらの指標を目標値として設定して、その目標達成の具合でそれぞれの工場を評価しはじめると工場生産がおかしくなりました。例えば生産製品の価格で評価すると、工場は同じ製品ばかりを生産し多様な製品の供給が困難になりました。生産製品の重量で評価すると重い製品ばかり生産し、生産した製品の個数で評価すると簡単に生産できる製品ばかり作るようになりました。 (p. 86)
*****
ここからは私（柳瀬）の意見となります。上記の論文は1979年に出版されたものですが、同じようなこと、つまり「ある限られた観点からの量的指標だけを組織の目標とすることにより組織の営みが歪んでしまうこと」は、現代の経営コンサルタントや実務家や経営学者も認めています。
カレン・フェラン著、神埼朗子訳 (2014)
『申し訳ない、御社をつぶしたのは私です
コンサルタントはこうして組織をぐちゃぐちゃにする』大和書房
時代の風:「人をつくる」管理職＝元世界銀行副総裁・西水美恵子
ヘンリー・ミンツバーグ著、池村千秋訳
『MBAが会社を滅ぼす マネジャーの正しい育て方』日経BP
人間の営みに数値目標を押し付けることの危険性は哲学者・科学史家のクリース氏も述べています。
Measurement and Its Discontentsの翻訳
Robert Crease氏によるエッセイ「文化を測定する (Measuring culture)」の抄訳
Robert Crease (2011) World in the balanceのエピローグの抄訳
そもそもこの問題は、人間は石ころと違って、測定されることを自覚し、その自覚からさまざまな行動を取りうるという一般的な問題として考えるべきなのかもしれません。
Wikipedia: Reflexivity (social theory)
https://en.wikipedia.org/wiki/Reflexivity_(social_theory)
あるいは、西欧近代の文化的傾向が新自由主義で加速しているという視点で考えるべきなのかもしれません。
アルフレッド・クロスビー著、小沢千恵子訳（2003）
『数量化革命』（紀伊国屋書店）
ユルゲン・ハーバマス(1968/2000)
『イデオロギーとしての技術と科学』（平凡社ライブラリー）
デヴィッド・ハーヴェイ（著）、渡辺治（監訳）、
森田成也・木下ちがや・大屋定晴・中村好孝（翻訳）
『新自由主義』作品社
そういった広い観点から考えた拙稿の一つが下です。
「英語教育実践支援研究に客観性と再現性を求めることについて」の論文第一稿
しかし数値目標による管理はますます進行し、私の大学でも導入されています。その際に具申したのが以下の文章です。
「研究力強化に向けた教員活動評価項目」への回答前文
また、美術と音楽の先生と評価について語った知見は以下の報告書にまとめました。
創造性を一元的な評価の対象にしてはいけない
2020年度から始まる英語入試改革でも、テストが教育を歪める可能性があります（そもそもこれは昔から指摘されていたことです）。
Shohamy (2001) The Power of Tests のPart Iのまとめ
「テストがさらに権力化し教育を歪めるかもしれない」
（ELPA Vision No.02よりの転載）
制度は固定化すると改革が困難になります。またその制度しか知らない若い世代が想像力を発揮しないまま教員となり、教育がますます硬直化する可能性も恐ろしいものです。
英語入試改革について、英語教育関係者は専門家としてもっと考え行動すべきだと私は思います。
小泉利恵 (2018) 『英語4技能テストの選び方と使い方』（アルク）の大修館書店『英語教育』(2018年8月号）の書評末尾に書いたように、私たち英語教育関係者は今、時代にテストされている、つまり試されているのだと思います。
投稿
0 件のコメント:
コメントを投稿