108年度計畫成果報告表

發展多元及真實評量計畫

國立中山大學107年度高教深耕教學創新計畫結案報告

計畫名稱:  發展多元及真實評量計畫   

(一)具體措施、創新作法及自我檢討評估與改善機制

本計畫專責提供文獻上之課室評量技術(classroom assessment techniques, CAT)以及實際應用於教室情境之範例,提供教師參考,並使用於授課過程中以直接獲得來自於學生的回饋訊息,有助於老師調整課程設計、授課進度以及活動安排(如分組、活動方式等)。

舉例而言,針對英國文學課程,授課教師可於初次上課進行Background Knowledge Probe(背景知識探索)。為使教師們在課室評量技術的使用上有更具體的參考,故而本計畫參考了AngeloCross1993)的「Classroom Assessment Techniques: A Handbook for College Teachers」一書之範例,在維持原操作精神的前提下適度改寫如下:

Susan是一位英國文學課程的教授,在初次上課時,為了瞭解學生們對莎士比亞(Shakespeare)作品具備何種程度的先備知識,故而進行了背景知識探索。Susan要求學生列出他們熟悉的作品,且寫出是讀過、從劇場看過、還是在電影或電視上看過。

收回這些問卷後,Susan發現多數學生寫的內容都很短,且學生最常出現的答案是「羅蜜歐與茱麗葉(Romeo and Juliet)」、「哈姆雷特(Hamlet)」及「馬可白(Macbeth)」,只有少數學生會列出較長的清單,當然也有少數學生是交白卷的;部分學生列出的作品並不是莎士比亞的,且許多學生對於莎士比亞作品的印象是來自於電影與電視,而不是閱讀原著,只有四分之一的學生看過現場表演,總結而言,多數的學生對於精簡及改編後的內容較為熟悉,而非原著。

隔週上課時,Susan跟學生們分享了問卷的結果,並做了下列處理:

    1. 鼓勵部分學生再次去觀賞這些作品;
    2. 讓學生知道她把課程中的Macbeth更換為李爾王(King Lear),因為已經有許多同學看過這個作品;
    3. 她鼓勵看過原著或現場表演的學生,並請他們協助其他對作品較為陌生的同學;
    4. 提醒同學們一些關於原著與改編後的電影之主要差別的所在;
    5. 最後,她把這些結果整理在講義上發給同學,也把同學們寫到的非莎士比亞作品之原作者標示在講義上,提供學生回饋訊息。

從上述範例,教師可透過使用此一技術於類似課程,瞭解學生的學習起點之情形及個別差異,適度調整課程規劃,並得知哪些學生可以協助其他同學,使得整體的學習成效得以進一步獲得提升。復以,上述技巧除了適用於文學課程外,其他課程亦可調整使用,本計畫亦視各搭配課程之需求,提供開發評量工具之協助。

本年度本計畫共計與校內4位教師合作,於108學年度第一學期的4門課程上推動使用CAT技術,本計畫分別於813日、830日、94日及930日分別與四位教師針對所授課程的課程設計進行交流,進而推薦符合需求且具有相關使用範例之CAT技術如下:

課程名稱

CAT名稱與範例

同樣推薦使用此技術之課程

戲劇構作

除了Background Knowledge Probe(英國文學範例)之外,本計畫另推薦下列三項CAT技術及相關範例。

 

Focused Listing

Sophia20分鐘的幻燈片與CD介紹古典波斯藝術與音樂,除了聆聽與觀察,沒有任何口頭說明及介紹。當燈光再次亮起,她要求學生在2分鐘內,從他們看到與聽到的,列出描述古典波斯文化的重點術語清單。接著,Sophia要學生分享他們所寫的,並收集班上同學所列出的重點。

根據學生們的回應,Sophia在黑板上寫下數十個術語清單,並利用這個清單來作為課堂主題的起點。現在她了解學生的概念詞彙,她可以從這個概念的一般印象與先備知識,連結她所要給予學生的新的、明確的術語。雖然大部分的學生在之前從未接觸過波斯文化,她利用班級的重點清單協助學生們藉由他們已具備的字彙,瞭解這個陌生的文化。

 

Memory Matrix

藝術史教授Rose使用Memory Matrix來瞭解學生如何連結主要演出者、其國家及呈現的重要趨勢,並同時提供期中考的預試。她讓學生在十分鐘內填寫下表,將所知的主要演出者姓名放在相對應的格子中。

 

 

France

United States

Britain

Neoclassicism

 

 

 

Impressionism

 

 

 

Postimpressionism

 

 

 

Expressionism

 

 

 

 

教師將學生分為五人一組,共七組。最後,經過十五分鐘的小組討論,學生們繳交個人和組的矩陣表格。教師翻閱回答,發現小組共同回想比幾乎任何個別學生的回想好得多。對大多數學生來說,按國籍對應演出者進行分類是很容易的。但即使是小組共同作業也很難區分印象派、後印象派、後印象主義者、表現主義者。此回饋提供了教師下一堂授課的起點,即討論藝術史學家如何及為什麼用這種方式對藝術家進行分類,以及他們有時在誰屬於何處的問題上存在分歧。

 

Self-Assessment of ways of Learning

為了說明學生不同學習方式的差異,教師寫了三篇極簡短的簡介,介紹不同的演講者如何記憶同個講稿:

演講者A:一遍又一遍地對自己重複這些臺詞,死記硬背。

演講者B:在腦海中形成演講的心智地圖,其中有視覺圖像和提示,提醒記憶的內容。

演講者C:必須編排演講,將不同的手勢和動作與講稿不同部分聯結起來。

三個簡介之後是兩個相關的評估問題:

 1. 這些演講者中哪一個最像你?

 2. 其他兩位演講者中哪位是你想學習演講的方式?

教師在閱讀後,現大多數學生認為他們最像演講者A,使用死記硬背的學習方法,但大多數人希望他們能夠發展視覺記憶演講的方法。在收到這些反饋後,教師調整了課程內容,以更加強調提高記憶和可視覺化技能的方法。

 

 

 

 

科技創新趨勢與需求探索

 

 

 

 

 

 

 

 

 

 

 

科技創新趨勢與需求探索

色彩學導論

科技創新趨勢與需求探索

除了與前一課程共同參考Focused ListingMemory Matrix之外,另推薦Categorizing GridDefining Features Matrix供此課程教師參考使用。

Categorizing Grid

管理學教授Sophia為評估學生如何理解MacGregor1960)提到的管理概念理論X和理論Y之間的區別(特別是第3-4章),決定使用分類格。首先,針對每個概念,她先寫下大約12個術語(terms)及短句(short phrases),並確認每個項目都清楚地與理論相關,再去除與兩個理論重疊的項目。接著她製作這些概念的投影片,將理論X和理論Y至於表格頂部,並以隨機順序將這兩個概念有關的術語和短語列在表格側邊。在課堂上,給學生五分鐘時間將其分類至兩個理論概念,然後收回分類格,進行分析。

藉由快速閱讀這些回答情形,Sophia發現學生們幾乎都聚焦在這兩個理論的人性及動機觀點,而忽略了管理及組織的影響。換句話說,這些學生在進行這兩個理論的術語分類上有狀況,此外他們對於這些概念的應用層面表現得更不理想。由於Sophia特別強調學生應該記得可能的應用,故而上述的發現協助她在後續的課程中強化這個部分。

 

Defining Features Matrix

如要讓學生區別高等教育之「機構評估與課堂評估」之異同,可透過「老師設計與指導」、「大樣本需求」、「複雜的統計分析」、「標準化且有效度的設備」、「課堂教學和學習」、「可複製與對比性」、「有助於師生」以及「有助於管理醏、旨在提昇高等教育品質」等特徵來來學生比較兩種評估方式。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

公民科教材教法

色彩學導論

除了應用Memory Matrix之外,本課程另有Categorizing Grid技術搭配色彩學的範例,以及Concept Maps可供使用。

 

Categorizing Grid

技職教育的學生有學到色彩搭配的季節系統(season system),並且看過一部短的影片示範如何運用這個系統協助客戶,使得服裝與化妝的色系能夠搭配他們的髮色及膚色。

Linda是一位美容課程的教授,在初次上課時,為了瞭解學生們對於季節與顏色的配對是否清楚(亦即可以把膚色跟髮色分成四種色系),因此Linda決定使用Categorizing grid這個CAT技術。在這個情形下,需要把一個大的矩形分成四個細格(即春、夏、秋、冬),然後請學生將一份清單中的24種顏色分別歸類到四個細格中。

由於許多學生在這個評量上表現很差,在與學生討論完回饋意見後,Linda開始懷疑許多學生可能並不熟知顏色的名稱,或者無法把顏色名稱跟呈現的色調建立連結。她知道許多學生是很厲害的視覺學習者,但卻是很弱的讀者,為了證實自己的假設,Linda進行第二個Categorizing grid。在一張大海報上呈現不同季節型態之模型,她也製作了一個海報,上面呈現24種顏色的範例,且把顏色的名字貼在範例旁邊。第二次的結果證實了她的假設:多數學生在顏色的視覺分類上做得很好。因此,Linda決定在後續的課程中,明確地幫助學生將字義與視覺訊息進行連結。

 

 

公民科教材教法

除了使用Defining Features Matrix之外,本課程特別有考慮Audio- and Videotaped Protocols

 

Audio- and Videotaped Protocols

爲了幫助研究生找到有效方法教導「極限」的概念,Carol教授給每人出了一個典型的問題。她要求學生準備一個10分鐘的教學演示,演示解决問題的步驟,並說明整個演示過程將被錄影。
Carol隨機挑選了五名學生,對他們的影帶進行了評論。她在課堂之外與這些學生見面,對錄影內容進行反饋,並據以準備下一節課。下一次上課時,班級被分成五組,每組都有錄影播放器。Carol根據看過的錄影帶之內容,提醒學生們觀看影片時應該注意的重點,以及如何提供有用的反饋。她允許碰過面的5位學生帶領小組觀看彼此的錄影帶並給出反饋。接著,所有的學生一起制定了教導「極限」的概念的草案。

 

除上述CAT技術外,本計畫另已完成13項常用的CAT技術與多項範例,可供未來其他參與課程參考使用;此外,為提供有興趣的教師進一步的參考資訊,本計畫也收集其他CAT技術的相關資源如下:

//cft.vanderbilt.edu/teaching-guides/assessment/cats/

//www.celt.iastate.edu/teaching/cat.html

//www.schreyerinstitute.psu.edu/pdf/classroom_assessment_techniques_intro.pdf

//pages.uoregon.edu/tep/resources/newteach/fifty_cats.pdf

本年度開發之課室評量技術均包含一至數個學科的應用範例,可供有興趣使用之教師作為觀摩學習之用;在臨場使用的工具上,本計畫亦持續與老師們保持聯繫,確保可滿足教師授課上的評量工具需求,不論是客觀測驗(如:選擇題)、自評量表(測量心理特質或態度)、抑或是開放式試題(如:簡答題),本計畫都將配合老師需求進行開發。亦即,本計畫將隨時協助各教師自行發展符合該課程需求之工具,俾便達到調整教學、確保學生學習成效之目的。

參考資料

Angelo, T. A. & Cross, K. P. (1993). Classroom Assessment Techniques: A Handbook for College Teachers (2nd Ed.). San Francisco: Jossey-Bass.

(二)亮點特色

本計畫之成果分析預計於108學年度第一學期末進行,將於完成後補上。