研究者の評価は難しい - 週刊雑記帳（ブログ）

今回は「大学教員の評価は難しい」の続き。

教員としての評価は確かに難しいが、研究者としての評価はできるのではないか。
研究論文の数を数えればいいだけだから。
研究業界では一般的に研究業績を使って研究者の評価は可能なものとして考えられている。
ただし、僕はこの考え方を支持していない。
今回はこのことについて書いていく。

一般的な研究業績の評価

一般的にはどのように研究業績の評価を行っているのだろうか。
まずは、論文や書籍の数を数えることが行われている。
今まで何本書いたか、ここ5年で何本書いたか。
そういった類。

質もみる。
論文は査読（審査）付きの学術雑誌に載ったのか、査読なしの学術雑誌に載ったのか。
英語で書かれたか否か。
査読付きの場合どの雑誌（雑誌ごとに難易度が異なるため）に載ったのか。
発表した論文はその後、別の研究にどの程度引用されたのか。
質もみるのだが、結局評価をして比較する必要上、数値に落とし込まれる。

それらの数値を「総合的に」評価している場合はまだいい。
「総合的に」という時点で、評価が難しいということをわかっている。
ただ、極端な研究者は、査読付き論文以外は評価しない、英語論文以外は評価しない、特定の雑誌に載った論文以外は評価しない、なんてことを言い出す。
特に、そういうタイプが役職者に就くと悲惨なことになる。

研究分野ごとに基準が異なる

まずはここから。
研究業績の評価基準は、研究分野ごとに大きく異なる。
年に数本、ポンポン論文を出していくような分野もあれば、じっくりと時間をかけて、数年に1本が普通という分野もある。
査読付きが、英語か否か、論文か書籍かについても、分野による。

これは、研究分野の特性による。
研究活動は、分野によってかかる時間が大きく異なる。
数ヶ月でデータ取りからまとめまで1サイクルが終わる分野もあれば、データ取得自体に数年単位の相当時間を要することもある。
英語で書くか否かもそう。
想定読者がそもそも日本人の場合や非研究者なんかが含まれる場合、日本語で書くのが適当。
例えば、日本文学の古典なんかの研究であれば、英語で書く意味はない。
日本の制度を念頭においた教育問題を扱っている場合なんかは、想定読者は研究者以外に現場の教員も含まれる。
この場合は英語で書くと、必要な読者に届かない。
雑誌の論文という形では紙数を取りすぎるため、書籍でまとめることが適当な場合もある。
査読なしの雑誌に自由に紙数を使って書いて、評価は読んでくれた他の研究者に任せるという考え方もあろう。
そんなわけだから、分野をまたいでの統一的な基準での数値評価は難しい。

それだったら、分野ごとになら可能かというと、やはり絶対的に基準を定めて評価するのは難しい。
その分野の中でも、時間や手間がかかる研究とそうでない研究が存在する。
例えば、僕の研究分野だと、発達を調べるために横断的（ある時点で各年齢のデータをとってくる）な方法は時間がかからないが、縦断的（１つの集団を何年も継続してデータをとってくる）な方法だと膨大な時間がかかる。
論文数は圧倒的に後者の方が少なくなるが、重要かつ必要な研究。
単純に数の大小で比較をすることができない。
おそらく各研究分野でも選択する方法論によって、こういう違いはあるはず。
よって、同じ分野であっても統一的な基準での数値評価は難しい。
ある程度内容を加味する必要がある。

量と質のトレードオフ

これはどんなものでもそうなのだが、量と質はトレードオフの関係にある。
質を気にしなければ量を稼ぐことができる。
一方で、質を高めまくれば量が犠牲になる。
この場合、論文数のみで評価を行うと、質を重視する研究者は損をするので、生産される論文は徐々に質の低いものばかりになる。
悪貨は良貨を駆逐する、ということ。

もちろん、そのあたりの問題をかわすための指標もある。
どんな雑誌に載せたか、その後どの程度引用されたか、の指標がそれ。
ただし、これにも問題点がある。
研究業績や分野ごとに、研究者人口や他の研究に与える影響の大きさが異なる。
盛り上がっている分野は引用数も、雑誌の格も高くなり、マニアックな分野ほどその数値は低くなる。
メジャーかマニアックかは質とは無関係なので、質の指標となり得ないことになる。
あくまで、同一分野・テーマ内での比較において質を反映することになり、これらが必ずしもすべての研究の質を絶対的に反映する指標とはなり得ない。

もっと難しいのは、質が高くて本数が少ない研究者と、質が低くて本数が多い研究者、どちらの方を高く評価すればいいのか。
これはもう個々の研究者の仕事哲学的な問題で、研究者間で一致した評価基準を設定できない。

研究業績は環境に依存する

研究者が所属している環境は多様である。
同じ研究分野でも、全ての時間を研究に使える人もいれば、他の業務の隙間時間でやっと研究を回している人もいる。
大学院生やスタッフがたくさんいて、人的なリソースが豊富な環境の人もいれば、1人で細々と研究する環境の人もいる。
研究費や設備が豊富な環境の人もいれば、どちらも劣悪で私費で研究を回している人もいる。
いずれの場合も、前者よりも後者の方が研究業績の期待値は低い。
恵まれた環境で年2本論文出している人と、劣悪な環境で年1本論文を出している人、全く同じ分野で同じクオリティの論文だと仮定しても、前者が研究者として優れていることにはならない。
しかし、評価を数値基準ベースで行うと、前者の人の方が評価される。
基本的に、このような環境の違いは数値化された時には出てこない。
こういう場合の評価もまた大変難しい。

１つの分野を深く型vs複数分野研究型

研究者は１つの分野で１つのことについて深く真理を追求しているタイプと、複数の分野で研究を行っているタイプがいる。
複数の分野で独立して研究を行っている者もいれば、複数の分野を融合させるような形で学際的に研究を行っている者もいる。
１つのことに集中しているタイプに比べて、複数分野研究型は情報収集に時間を取られるため研究業績は出づらくなる。
しかし、複合分野での研究や研究分野を跨いだ分野融合的な研究は重要。
そして、この場合、評価がまた難しい。
１つの分野・テーマで2本と、各分野・テーマごとに1本ずつの2本、同じ評価でよいのだろうか。
分野で評価した場合前者は2本、後者は1本となるが、本当にその評価は妥当なのだろうか。
分野ごとに評価基準が異なる場合はより複雑になる。
こうなってくると相対的な評価は不可能としか思えない。

と、まあ思いつく点についてつらつら書いてみた。
そんなわけで、研究者の評価は大変難しい、というのが僕の意見。
競争原理主義の人たちは評価したがるんだけど、無理な評価はやめておいた方が研究は発展すると思っている。
研究者は元々が研究好きなので、環境さえ整えれば放っておいても研究はする。

ではまた。

たぶん、鳥取市内。

-----
2023/02/05 17:30
コーヒー2杯目。
鳥駅スタバにて。

雑記帳トップへ戻る
 HPへ戻る