Junko Takefuta's site
英語のデジタル教材の制作およびその効果を検証する研究をしています

教材選択ナビゲーターの試用結果

試用後の感想

教材選択ナビゲーターの試用実験は2013年度後期に、国立大学法人2校と私立大学各1校からの協力を得て実施されました（参加者は合計148名）。その際、本システムの妥当性と実用性について検証するため、システム試用者を対象として試用直後に質問紙調査を実施しました。
まず、システム試用後に参加者を対象として実施された質問紙調査の結果について報告します。質問紙は、「強くそう思う（5）」から「全くそう思わない（1）」の5件法で回答を求める項目と自由記述形式の質問項目で構成されていました。自由記述形式以外の質問項目と集計結果を表2に記します。

教材選択ナビゲーターのユーザビリティ

ソフトウェア評価基準として、障害発生率やコードの構造といった技術面に関することに加えて、ソフトウェアを使用する側の視点から実用性、ユーザビリティなどが挙げられ（Jung, Kim, & Chung, 2004）、これらが優れていない限り、ソフトウェアを広く普及させることは難しいと言われます。このシステムの場合、授業時間外に使用されることが想定されているため、どれほど信頼性の高い教材選択ナビゲーターとして完成していたとしても、その使い勝手が良くなければ、学習者が自律的に使用する可能性は低くなることが予想されました。これについて、表2の項目1、2、3への回答結果を見ると、いずれもM = 4.1以上と試用者から高く評価されており、また自由記述欄にも「最初のアンケートにはじまり、適正テストまでスムーズな流れで、やりやすかったです」、「ナビゲーター全体の構成、デザイン、アンケートの設問、順番付けはとてもわかりやすかったと思います」といった感想が散見されていることから、ユーザビリティに関しては大きな問題はないと判断しました。

Jung, H., Kim, S., & Chung C. (2004). “Measuring software product quality: A survey of ISO/IEC 9126,” IEEE Software, 21(5) 10-13.

診断テストの設問数、診断時間

　5件法による質問紙の中の「診断時間は適切か」という4つ目の質問項目への回答について単純集計したところ、否定的な回答をした者は参加者のうちの約10％でした。診断時間が長くかかるほど不満が増すと推測していましたが、実際にはその両者間に相関は見られませんでした。そこで、リスニング力診断テスト（1）を8問や16問ではなく、24問回答した10名のデータに着目して観察したところ、低正答率であるがために設問数が多くなった者（6名）の回答は M = 3.2, SD = 0.4 であったのに対して、高正答率であるがために24問解くことなった者（4名）は M = 4.8, SD = 0.5と診断時間を肯定的に捉える傾向にあることが分かりました。

また、自由記述形式の回答欄に診断時間について記述されていたものには、「30-40分ほどの診断で結果がすぐにでて、さらにオススメ教材を教えてくれるというのは簡単に自分に合った英語の勉強法を探せるので非常によいと思った」、「自分自身も30分と少ししかかかりませんでしたし、空いた時間で気軽にできるのが良い点だな、と思いました」、さらに、受験に約2時間かかるTOEICのスコアをもとにして3R教材が割り振られているクラスの学生の中には、「TOEICのテストより短時間で診断できるので、ぜひ実用化してもらいたい」と肯定的な感想が多く見られました。

その一方、「問題数が少ないと、出題される問題の相性とか運にも左右されると思うので、問題を多くしてほしい」、「テストの問題数が若干少ないので、これだけでレベル判定ができるのか」と改善を促すような意見もありました。これらの意見を参考にして、システムの信頼性を維持しつつ実用性も高める判定法について、今後さらに発展させていきたいと思います。

3ラウンド教材での学習に対する姿勢

「推奨された教材で学習したいか」との質問に対して、自由記述では「市販のリスニングテキストや、授業で使われているテキストと比べ、臨場感があり、内容も大学での勉強法、研究室、一人暮らしについてなどと非常に自分にとって身近な内容であったので、このソフトを用いると今まで以上に英語が実践的に学習出来ると思った」、「週2コマの少なすぎる英語学習時間を増やすためにこの教材選択ナビゲーターで推奨された教材などe-learningによって基礎能力を養う機会があり、教室ではリアルタイムに他人と英語を用いたコミュニケーションを取る練習ができれば嬉しい」など、教材選択ナビゲーターや3ラウンド教材に対して好意的に回答する学生が多数を占める一方、11％の学生が否定的な回答を寄せました。この原因としては主に2つのことが考えられます。ひとつには、本システムの仕様について検討した際、3R教材の継続学習者の存在が見落とされてしまっていたため、診断により既習の3R教材が推奨されるケースが出てしまった、ということです。実際、そのような学生群（15名）は、「推奨された教材を学習したいか」という項目に対する回答がM = 2.3, SD = 1.2と、そうでない学生群のM = 4.1, SD = 1.1を大幅に下回っていました。

さらに2つめの原因としては、最後の診断結果画面で提示される教材に関する情報が不足していたことが挙げられます。これについて、質問紙の自由記述形式の回答欄には、「教材名、難易度レベル、ジャンル、教材の概要などが示されただけでは興味を持てないので、たとえば教材の一部をサンプルとして表示したりしてほしい」といった記述が、特に3R教材で一度も学習した経験がない者からの回答に見られました。これらの点についても、要望に応えるべく実現方法を検討し、システムの改修にあたる予定です。

診断レベルと外部テストのスコアの関係

ナビゲーターを試用した日の前後数か月以内にTOEICテストを受験した者が111名おり、そのトータルスコアはM = 417.3, SD = 93.9、リスニングセクションスコアはM = 240.5, SD = 59.0でした。これらのデータをもとに、本システムにより診断されたレベルとTOEICリスニングセクションスコアの関係を観察しました。表3に示されている値を見ると、同じレベルと診断された者のTOEICのリスニングセクションスコアのバラつきは小さくないことが分かりますが、診断レベルごとに参加者のTOEICリスニングセクションスコアの平均値を棒グラフで示した図6を見ると、両者間にある程度の相関関係があることが視覚的にわかります。このことから、教材を選定する際の手段として、TOEICテストを実施する代わりに本システムを活用できる可能性があると考えます。これにより、これまで約2時間かかっていた教材選定のための時間が約4分の1に削減できることになる上、インターネットに接続されたパソコンや特定のブラウザなどの環境さえ整備されていれば使用できるWeb上のシステムで授業時間外に使用できるため、授業時間は別の活動に充てられることになります。

診断レベルとTOEICリスニングセクションスコアの関係

もとより3R教材は自律学習用に設計されたコースウェアであり、実際に教育機関での授業とは直接関係なく、長期間（1年次から卒業まで、など）自習を継続する学習者も少なくありません。そのような学習者が教材を選ぶ際に、自らの興味だけでなく習熟レベルやニーズと合致した教材が選定できることになるため、このナビゲーターの意義は大きいと考えます。