アカデミックコースセッションの授業の評価は、クッキーに影響される

-文献名-
Availability of cookies during an academic course session affects evaluation of teaching MEDICAL EDUCATION 2018 52 : 1064–1072

-要約―
背景と目的:
コース終了時の授業評価(SETs:student evaluations of teaching)の結果は、教員の採用や資金配分、カリキュラム変更のための基準として用いられている。しかし、コースの内容やそれが伝わっているのかを正確に測定できているかどうかには疑問がある。内容には関係のない介入としてチョコレートクッキーの提供がSETの結果に影響するかどうかを検討した。

方法:
ドイツのミュンスター大学の救急医学コースでのRCT
118人の医学生(3年生)を20のグループ(最大6人の小グループ)に無作為に割り当て、半分の10のグループにのみセッション中に500gのチョコレートクッキーを提供した。セッションの内容はACSについてのケースディスカッション。授業の内容と教材は両グループで同じとし、授業の終了後に38の質問(教員、コースの内容、学習環境、教材、学生の自己評価など)からなるアンケートで評価した。

講師は同じ内容で担当したことのある経験豊富な二人が選ばれ、これに学生が無作為に割り当てられた。授業は全て14−16時の間に実施。授業開始時に提供し「私はチョコレートビスケットを買ってきました」と言う。みんなが取りやすいようにまず講師が一つ食べて良い、というルールとした。

201907大西1

201907大西2

201907大西3
(参考:カントリーマアムは1個10g 写真はイメージです)

結果:
112人(95%)の回答あり。グループ間の年齢(p=0.173)・性別(p=1.000)・体重(p=0.424)・BMI(p=0.895)に差はなかった。
→クッキーグループは対照グループよりも教員への評価が有意に優れていた。
(113.4±4.9 vs 109.2±7.3; p = 0.001, effect size 0.68)
学生がしたコメントを分析すると、54%のコメントがクッキー関連であった。クッキーグループの学生はコントロールグループと比較して有意に高評価をつけており、コース全体の合計スコアは有意差をもって優れていた。(224.5±12.5 vs 217.2±16.1; p = 0.008, effect size 0.51)。また、サブグループ解析では教師または教材に関する質問項目により良いと評価され有意さがあることが明らかになった(10.1±2.3 vs 8.4±2.8; p = 0.001, effect size 0.66)。

201907大西4

重回帰分析の結果のまとめ:
質問の合計スコアのばらつきがどのくらい各項目(クッキーの有無、教師AorB、性別、BMI、年齢)に影響したかを示している。重回帰モデルは全ての質問において合計スコアの統計的に有意な差を予測した。標準化されていない係数の回帰係数、標準語さ、95%信頼区間を以下に示す。

201907大西5

「クッキーの追加のみ」が評価結果の合計スコアの予測に寄与していると示されている。しかし、クッキーの提供の結果としてのグループの違いは、クッキーのチョコレートの内容かもしれない。チョコレートは血圧にプラスの影響としてだけでなく、体への効果、鎮痛効果、不安減少効果など、感情の変化を生じさせる。過去のRCTでは、口当たりの良いチョコレートの消費後の気分の即時効果を解説されている。

結論:
チョコレートクッキーの提供という単純な介入はコースの評価に大きな影響を与えた。
この影響の大部分がクッキー自体に起因するのか、もっと広い社会変数の相互関係に影響するのかは結論が出ない。
これらの調査結果は、SETの有効性とその利用に関しては疑問が残った。

【開催日】2019年7月24日(水)