電腦改作文不是夢

簡介托福測驗所使用「作文自動化整體評分軟體及線上作文教學與評分工具Criterion(On-line Writing Evaluation Tool)」

作文是用來評估寫作能力最有效而普遍的方式，但是計算分數所需耗費的費用、時間與其他後勤資源往往使評分過程變得障礙重重。美國教育測驗服務社(Educational Testing Service)的分支機構－ETS®科技公司(ETS Technologies, Inc.)花費數年，對此進行一連串廣泛的調查與研究，開發出了新的應用程式Criterion。它是一款依據評分員所使用的典型評分標準(組織性、句子結構與內容)來產生整體作文分數的軟體。使用者可於線上寫作並由電腦即時完成批閱，大幅減低以往作文評分的困難度。

Criterion的沿革與發展

教育測驗服務社(ETS®)自1947年成立以來，即致力於作文評分的研究。1999年2月ETS® 首次在GMAT®分析式寫作評分項目上使用Criterion作為閱卷工具。

在沒有Criterion可用時，受測者都是將答案寫在考卷上，並由評分員以每部分總分六分為基準改考卷，最後總成績是以兩位評分員的計分為準，但若此二者的分數差距超過1 分，則會延請第三位評分員加入評分過程。然而自從1999年2月開始使用Criterion以後，除非電腦與評分員產出的兩個分數差距在1分以上，否則全部閱卷過程只需一名評分員的人力即可完成。

目前已經有超過750,000份以上的作文測驗採用此軟體，根據報告顯示，Criterion與評分員在閱卷結果的差異小於百分之三，與以往兩位評分員同時閱卷結果相比，數據不相上下。此外，在最近自動化作文記分上的研究指出，Criterion在不同程度的作文評分上與人工閱卷結果十分相符，供四、八、十二年級使用的Criterion，計分模式以全國標準分數為算標準；供大學生使用的是以EPT(英語專業測試)與PRAXIS為準。對非英語使用國家受試者而言，則以托福測驗為準。

Criterion的設計理念與整體評分

在Criterion的整體評分中，作文項目會得到一個單一分數當作總分。作文答題當中的主題、概念發展、段落間的組織、句子正確性與多元性等項目並不是分開計分的，整體評分反映出的是一篇作文的整體水準。由Criterion所產生的分數是以單一分數為基準，即以作文資料庫的統計結果反映出這篇文章的寫作水準。以Criterion批改的作文通常被分為六個等級，6分為最高分、1分則是最低分。每一評分等級都有屬於該項的特徵敘述。

Criterion應用程式共有五種獨立模組。這些模組能辨識出文章中反映的寫作品質，在以往這些都是評分員判斷給分的標準。

1.句法：此項功能使Criterion能夠捕捉到作文中的多種句法結構。

2.論述：Criterion辨識出論述的提示字、詞組以及句法結構，而這些要素會按照論述構成的概要來註解每一篇作文。

3.主題分析：字彙的使用是人工閱卷的另一項評分標準。為了捕捉字的使用法或辨識題目，Criterion也包含了一項主題式分析模組功能。

4.模式建立：模式建立的模組是一個參考文獻(數百篇人工閱卷作文)中的句法、論述以及主題分析訊息而建立的程式。它產出的這個訊息形成用來計分的模式。

5.計分：用來計算作文的最後成績。

句法、論述與主題分析模組產生出可以用作建立模式以及計分的特殊訊息。為了建立模式，之前人工閱卷的作文範例會被收集來作參考資料，作為計分的一項指標。最理想的參考文獻資料是270篇經兩名評分員人工閱卷的作文範本。Criterion使用統計學技術來建立這套模式並為作文評分。其中有15篇分配到第1級，其餘2至6級各50篇。大致上說來，一篇作文若能緊抓問題的主旨不放，就算是具備論點有力、一致且組織良好的論證結構，而如果又能顯現用字與句法結構的多樣性，就能得到5至6分的高分。

Criterion的諮詢功能

由於Criterion的主要功能之一在於當作教學工具，ETS®同時開發一項稱作Advisory Component的反饋功能。這項諮詢功能完全獨立於ETS®計分功能，提供與作文切題度與流暢度品質相關的資訊，例如精確的句子結構、適當而多樣化的用字、良好的組織結構以及關於簡潔度、重複度與離題作答方面的訊息。此種回饋可以幫助學生修訂作文，讓他們把初稿發展成更為精練的文章。目前ETS®已完成了一些關於文法的回饋功能建置，包括句型辨識、易混淆字及文法錯誤。

同時，對提昇作文整體水準而言，有一項被認為是關鍵性的要素，即為能在檢討作文的過程中改善組織性結構。最近ETS®開發出一套可以在學生的文章中，自動辨識以論述成分的機制。這項應用軟體的最新版本可以辨識作文中的論點陳述、每個主要概念中的主題句、概念的發展，以及結論的陳述。這款軟體已經囊括在修訂學生作文的應用程式開發中。新近的論文評分技術，結合及時寫作特性回饋功能，可以大幅提昇學生在寫作及發展寫作技巧上的時間。

使用Criterion對教師有何益處？

優點一：建立標準

Criterion以普遍被接受的測驗為標準，提供分數回報服務，這些測驗包括NAEP®，GMAT®，TOEFL®，GRE ®，以及Praxis®的規則。 如果教師與學生都同意這項標準，他們討論寫作時就不會有期望的差距。Criterion最大的優點在於幫助教師定義出寫作能力標準，並使用計分規則當作教學與評審的工具。

優點二：即時的分數回報

由於每次練習作文都能得到立即的分數回報，大幅節省教師以往花在批閱作文上的時間，對學生也是一項鼓勵。此外，總分所提供的是一項全球性的標準，教師可將之作為與學生討論其寫作能力的依據。

優點三：作文有範例可循

每一個計分等級都有作文範例供使用者參考，教師等於擁有現成的教學材料，闡示作文等級與寫作能力範圍。

等級四：報表功能

報表功能可以供教師查看每個學生的所有作文、分數、以及關於學生寫作能力的評估訊息，幫助教師掌控所有學生的學習情況。

使用Criterion對學生有何益處？

優點一：練習的機會

因為能立即得到總分計算，學生便可以在計分規則的提醒下持續練習寫作能力。

優點二：題目有效

呈現給學生的作文題目是相當具可靠性的，為了符合重要測驗設立的嚴苛評分標準，專業評分人員費盡心力開發出最有效而易發揮的作文題目，學生不用為了概念發想而傷透腦筋。

優點三：提供忠告

學生可將自己的作文跟範例中的文章相比，看看其他人是如何作答，同時也可在「給寫作者的忠告」一欄尋求改善寫作技巧的有效建議。

優點四：寫作練習與修訂

Criterion提供學生依自己的步調練習與修訂文章的機會，並將他們的文章整理建檔，方便他們隨時查詢調閱。

未來的方向

Criterion評分近似於人工閱卷，而自動化閱卷不僅縮短流程時間，更可節省人工閱卷的批改費用，因此無論是高難度標準化測驗，或低難度課堂環境教學，自動化作文閱卷都可成為一個有利的解決方案。

Criterion自動化作文閱卷技術的價值與有效性，在經過過去兩年GMAT®分析式寫作評分中的應用，已獲得充分證明。現在這項作文評分系統已經被許多寫作評分機構所使用，美國境內的中學、高級中學與大學也使用這套系統來輔助教學與評分計算。

就整體趨勢而言，學生線上寫作的數量愈形增加，Criterion也會不斷增進其使用效能。