TOEFLライティング採点官から教わったインテグレイティッドタスク 採点の秘密を公開します こんにちは TOEFLの桂山隆一です 前回の動画はTOEFLとはどんな試験という内容で主にTOEFLを受けたことがない人に対して TOEFL IBT試験の概要を説明しました 今回は趣をガラッと変えて TOEFL IBT試験を長年にわたり 第一線で研究している私だからこそできるお話をします これからの話はTOEFLに関わるどこの誰もが話していないこと TOEFL試験を作成運営しているETSが公表していない事実に切り込みます ETSが公表していない事実とは ライティングのインテグレイデッドタスクがどのように採点されているのか 今回の動画の対象は、TOEFL iBTを一度は受けたことがある人、またはTOEFLを受けるためにライティング対策をすでに開始した人。 この動画では、ライティングセクションの概要やインテグレートタスクとは、という説明はしません。 TOEFL iBTを一度でも受けたことがある方ならご存知の通り、TOEFLのライティングセクションは、インテグレーティブタスクとインディペンデントタスクでそれぞれ1本のエッセイを書きます。
そして、インテグレーティブ・インディペンデントのエッセイに対して、人間の採点官とE-LaterというAIによる自動採点が0から5の評価点をつけます。 人間の採点官から2つ、AIから2つ、合計4つの評価点と、その日、 同じ試験を受験した人たちが獲得した評価点に対する偏差値の2点を考慮した統計的算出によりスコアが決まります 例えばインテグレイティブインディペンデントタスクのエッセイに対して 人間の最低限化Eレーターの評価点が全て4だったとしましょう 評価点は4444なのでその平均はもちろん4.00になります 左の表の平均が4.00のところをご覧ください これは以前にETSが公開していたライティングの換算表です 2012年まではこの換算表に基づいてスコアが決まり 評価点平均が4の場合スコアは25点と決まっていました 余談ですがこの換算表には26、23、19、16、13、9といったスコアがありません 2012年以前はライティングセクションで26、23、19、16、13、9というスコアを通ることがなかったのです しかし今は評価点平均が4であってもその4に対する偏差値次第でスコアが決まります 例えばその会のライティング問題は受験者にとって書きやすい内容で 全体的に受験者が獲得した評価点が高めであったとします つまり高得点である評価点4平均を取った人が多かった そのような場合評価点平均4の価値は下がり 25ではなく24点になったり場合によっては23点になります 逆にその回のライティング問題は受験者にとって書きにくくて評価点を取った人が少ない場合は25ではなく26点や27点になります このライティングセクションにおけるスコア算出の詳しい話は別の動画で改めてお話します 今回はもっと細かい話。 扱うのはライティングのインテグレイティブタスクのみ。 インディペンデント話は一切しません。
お伝えするのはインテグレイティブタスクのエッセイを人間の最低感がどのように評価するのか。 インテグレイティブタスクの評価においても、Eレーターは使いません。 ライティングのそれぞれのタスクにおける評価点の基準は、ETSがRubricsとして公表しています。
こちらがそうです。 このルーブリックスと呼ばれる評価基準に関しては改めて説明する動画を作成します ただトフルをこれまで受けたことがある トフルをこれから受けるけどまだこのルーブリックスを読んだことがないという方は 自読しましょう概要欄にリンクを表示します またライティングセクションのルーブリックスについて過去にブログ記事で解説していますので 概要欄のリンクからそちらを読んでください 今回はルーブリックス評価基準の内容はだいたいわかっていることを前提として話します ん ETSはこのルーブリックスに基づいてエッセイは評価されると公表しています 実際にTOEFL本試験のライティング再転換をしている TOEFLのネイティブスタッフの報告により ライティングのインテグレーティングタスクには このルーブリックスの他に評価点を決めるもう一つの基準があると分かりました まずこの基準のことを今後インテグレーティングライティング評価表と呼びます ではインテグレイテッドライティング評価表をどのように使って人間の最低円間はスコアを判断しているのか説明します こちらの表はETSがライティングセクションの最低円間に渡しているものと同じではありません 実際の表にはそれぞれの評価点に対してルーブリックスの表現を抜き出した説明があるのですが そこに目新しさはないのでここでは分かりやすくするために採点表の数値のところを抽出しました ETSが外部に公表していないものをそのまま皆さんにお見せするのはためられるのも理由ですが 大事な部分はそのままお見せしています いかがでしょうか この表が何を意味するか分かりますか 表の左の列に注目してください。 上から5、4、3、2、1、0となっていますね。 これは人間の最低円環がつける評価点を表します。 そしてその評価点の右側に3つの数字が並んでいます。
この3つの数字が何を意味するかを伝えるために、 Writing Integrated Taskの概要を手短に説明します。 インテグレイティブタスクでは、まずアカデミックなトピックについて書かれたパッセージを3分で読むことが求められます。 ほとんどのパッセージは4段落に分かれています。 第一段落で、ある仮説が唱えられたり、主張がされています。
その後に続く3つの段落では、その仮説や主張を裏付ける理由が1つずつ提示されます。 3分でリーディングパッセージを読んだ後 リスニングでそのパッセージに関連した内容が 教授と思われる人によりレクチャーで語られます 2分くらいのレクチャーの内容は ほとんどリーディングに対する反論になります レクチャーの構成は、最初にリーディングの仮説や主題を否定し、その後、リーディングで提示された3つの理由それぞれに対して、上から順に反論していきます。 そして、ここでの3つの反論の理由が大切なのです。 インテグレイテッドタスクで求められるのは リスニングでのレクチャーの内容を要約すること その際にリーディングとの関連を述べること なのですが一番大切なのはレクチャーの要約 レクチャーの要約においては 最初にリーディングの仮説主張への反論 そしてその反論をサポートする 3つの理由について書くことになります 以上インテグレイテッドライティングの試験形式に関しての大まかな説明でした では先ほど見せたインテグレイテッドライティング評価表に戻りましょう 右の3つの列の上には講義3つの理由の記述とあります その下の数字はレク���ャーの3つの理由それぞれに対する評価レベルを意味します 例えばレクチャーでの反論をサポートする3つの理由それぞれのレベルが 理由1と理由2はレベル5の記述 そして3番目の理由はレベル4の記述だとすると 評価レベルは5、5、4となり 結果人間の採点からの評価点は4になります 続いて例えばレクチャーでの反論をサポートする3つの理由 それぞれのレベルが理由1と理由2はレベル5の記述 そして3番目の理由はレベル3の記述だとすると 評価レベルは5、5、3となり 結果人間の最低間からの評価点は3になります つまりかなり出来が良かっ���と思った人でも レクチャーの一つの理由で勘違いした内容を書いたりすると 人間の採点官からの評価点が3になったりするのです ではそれぞれの理由に対する評価レベルはどのように決められるのでしょうか 人間の採点官はスコアメモに基づいて 5、4、3、2などの評価レベルを決めています 実際にETSはスコアメモとは言わずに別の呼び名があるのですが ここではその表現をあえて使いません スコアメモの一例を見せます レクチャー内の理由の一つに対するスコアメモのサンプルになります 評価レベル5以下の3つのサブポイントについて述べていなければならない という内容の表現があり その後一つの理由に対する3つのサブポイントが挙げられています ここでのABCの後にはそれぞれ1文が続くと思ってください レクチャーの一つの理由に対するサブポイントの数は2つか3つであることが多いですが 中には4つあることもあります スコアメモの中にはサブポイントが2つ以上に分かれていなく 長めの1文で表示されていることもあります 評価点5を取るには多くの場合全てのサブポイントに触れる必要があります 中には評価レベル5になるためには3つのうち2つについて述べていなければならない 4つのうち3つについて述べていなければならないということもあります インテグレーティライティング評価表に話を戻しますが、人間の採点官から評価点5を取るためには、レクチャー3つの理由すべてにおいて、レベル5の記述をしなくてはならないとわかります。 続いて、評価レベル4はどのようなものか見てみましょう。
サンプルでは、3つのうち2つのサブポイントを記述している。 か、3つのサブポイントについて述べているものの、内容や言語において全体的に若干問題がある。 となっています。
記述されているのが3つのサブポイントのうちの2つだけ または評価レベル5で求められた3つのサブポイント全てに触れていても 内容が不十分だったりつながりがおかしかったり ちょっとした表現文法ミスが目立つと レベル5ではなくレベル4とみなされることがあります そしてレクチャーの3つのポイントのうち1つがレベル4だと 人間の再建館からの評価点は4になります では次に評価レベル3はどのような感じか確認しましょう 例を挙げます 一つのサブポイントを記述しているか または二つ以上のサブポイントについて述べているものの 内容や言語に全体的に若干を超えた程度くらいの問題がある レクチャー内容の三つのサブポイントのうち 一つについて正しい内容が欠けていれば 表現や文法ミスがいくつかあっても評価レベル3が取れる または評価レベル3だとこのような具体的な傷つではなく 例えば足りないところ間違ったところが若干を超えた程度 というような漠然とした表現になっていることもあります 最後に評価レベル2に対しての例を見てみましょう レベル2ではこのようになっている感じです 内容や言語においてルーブリックスの評価点2に対する記述で見られるような かなりの問題がある このように評価レベル2になるとサブポイントに関して触れていないことが多いです ミスが多くて3レベルに到達していないというのが2レベルになります 言い換えればサブポイントが抑えられても表現文法ミスが多いと評価レベルは2と判断されてしまいます 評価レベル1評価レベル0に対するスコアメモはないのでここでは説明しません お話してきたスコアメモとインテグレーティッドライティング評価表に関して補足説明をします。 インテグレーティッドライティングの評価点の判断において、細かな基準が設けられていることをお伝えしてきましたが、 スコアメモ、評価表、ともに厳密には守られていません。 スコアメモにおいてですが、表現からライティング力が高いと判断された場合、 例えば、先のサンプルで3つのサブポイントのうちAとCの2つしか述べていなく、 サブポイントのうちAとCの2つしか述べていなく、 その理解が不十分と判断されても評価レベル5になることがあります 同様にインテグレーティッドライティング評価表においても 3つの理由に対するレベルが4、5、5であっても 全体的にライティング力が高いと判断されれば評価点5になることもあります ということでレクチャーを理解できなかったところが少しあっても 本試験中に落ち込まないようにしましょう それではここまで説明してきたインテグレーティライティング評価表と スコアメモに関することからの結論3つをお伝えします 1.レクチャーの3つの理由はできるだけ詳しく書いた方がいい 問題で求められていることは2つ 問題例で確認すると 問題で求められていることの2つは 1.レクチャーのポイントつまり理由を要約すること 2.レクチャーの理由がリーディングのそれぞれの理由に対してどのように反論しているかを説明すること 求められているのは要約ですが、レクチャーを短くまとめようとすると、評価レベルが下がる恐れがあります。 よって、レクチャーの理由を一文でまとめるのはお勧めしません。 スコアメモで見たように、多くのサブポイントをカバーするようにレクチャー内容は増やしましょう。
2.テンプレートで無駄に語数を稼ごうとしない インテグレーティブタスクのエッセイの語数は、150から225であるべき。 250を超える語数だとスコアが下がると考えている人がいたりしますが、それは間違いです。 評価点5を獲得するほとんどのエッセイの語数は225を超えます。
しかし、多くの語数を書くことを狙いとしてはいけません。 内容と関連のないテンプレートの誤数稼ぎは 人間の最低間からの評価レベルアップにつながりません 内容を精査しないEレーターからの評価は上がるかもしれませんが ここでのテンプレートとは リーディングの内容とリスニングの内容をまとめるための便利な表現を指します トフルライティングの対策も全てに書いてあること またはちょっとググればわかることなのでここでは説明しません テンプレートを多く書くことによってレクチャーの内容を書く時間が足りなくなってしまうなら テンプレート部分は短くしましょう またレクチャーの3つの理由を書いた後にその下にまとめ結論の段落を書くことは 人間の再建館からの高評価獲得にあまり有効と言えません 3.評価点3は取りやすい 評価点3になる組み合わせの一番下には133という評価レベルが並んでいます つまりレクチャーの3つの理由のうち2つで評価レベル3の内容が欠けていれば 人間の採点官からの評価点は3になります 評価点が3平均なら20点くらいになるので ライティング20が目標の方は レクチャーの3つの理由のうち1つが全然理解できなかったり 書いた内容が2か1の評価レベルであっても 他の2つの理由に対する評価レベルが3なら 人間の最低限からは3がもらえます 評価点4を獲得するには レクチャーの3つの理由すべてで 4か5レベルである必要がありますが 評価点3はレクチャーの3つの理由のうち2つで3レベルが欠けていればいいのです。 ということで評価点3が4に比べて取りやすいということがわかっていただけるかと思います。
また見方を変えれば評価点4獲得のハードルは高いと言います。 以上、TOEFLライティングの最転換だからこそわかる インテグレイティブタスクの秘密とそこからどのようにエッセイを書くべきかについてお話しました。 ただ今回の話は人間の採点官がどのようにインテグレートタスクのエッセイを採点しているかであり e-laterというAIによる自動採点は含みません とはいっても人間の採点官から良いスコアがもらえるエッセイは e-laterからも高評価になるので e-laterのことは気にしなくてもいいと考えてください 今回の動画はこれで終了 ETSが秘密にしている内容なので ETSと問題にならないように 全部を見せていないことをご理解ください しかし皆さんが知っておくべきことは 全てお伝えしました トフルライティングの対策にお役立てください それではまた次回の動画でお会いしましょう