|
||||||||||||||||||||||||||||||||||||||||
|
不同鑑別度的地理科試題 【第一處 許珊瑜】 試題分析可由兩個方面著手,一個是試題內容的品質分析(qualitative analysis),其次是試題統計特徵值的量化分析(quantitative analysis)。前者可透過內容審查、有效命題原則等進行,後者可由難度(difficulty)、鑑別度(discrimination)及誘答力(distraction)三個部份討論(余民寧,20021)。目前選擇題(multiple-choice item)是客觀測驗中普遍的一種形式,透過有限應試時間內的多樣試題,使得取樣更具代表性,可以增進信度與效度,也可進行量化的試題分析(林重新,20012)。本文是以著重於以量化分析為主,以地理科試題說明不同試題所具備的鑑別功能。「鑑別度」與「難度(透過答對率表示)」兩個指標具有密切的關係3,不同難度的試題也扮演區分不同能力群考生的功能。以下舉出不同鑑別功能的試題作為說明4。 (一)對中低能力群有明顯鑑別度的試題 高答對率的試題表示對大多數考生並不困難,但往往能鑑別中低能力群考生。此類試題主要是評量基本地理概念:對於高分組考生而言,答案非常明確,其他選項較不具誘答力,但低分組考生則可能因為對於基本概念理解不清,受到其他誘答選項的影響而降低其答對率。接下來以95指考第8題及96年指考第31題為例分別說明: 【95指考第8題】P=74%, Ph=92%, Pl=46%, D=0.46 第7-8題為題組大氣平流層的底部有一層臭氧層可以阻隔95%以上來自太陽輻射的紫外線,但在1980年代以後,科學家們觀測到南極上空在春天到初夏時會有臭氧耗損,臭氧層變薄的情形,俗稱臭氧洞。相對地在北極上空的臭氧洞則較不明顯,這是因為南極地區冬天的氣溫遠較北極地區寒冷所致。南極的最暖月約-30°C,最冷月約-60°C,而北極的最暖月約0°C,最冷月約-40°C。請問: 8.影響南北極地區氣溫不同的最主要因素為何? (A)海陸差異* (B)海水溫度 (C)行星風系的季移 (D)太陽輻射強度
本題評量考生是否瞭解影響南北半球溫度差異的主要原因。南北極的自然環境不同,北極為海,南極為高原。命題者所設計的誘答選項對高分組考生毫無誘答力。由通過率曲線可看出對於後半段考生有明顯的區分力。此外,25%的低分組考生填答選項(D),若考生認為「一地之溫度與太陽輻射強度有密切相關」為正確答案,則可能表示考生的「緯度與溫度的關係」的概念是錯誤的。高緯度地區的入射角較小,單位面積土地的接受量較低緯度地區少,造成高緯度地區較低緯度地區寒冷,而非強弱所造成。對於本題而言,在太陽輻射量是一致且南北極緯度相同之下,低分組考生所引用的概念是無法解釋本現象。 【96指考第31題】P=79%, Ph=98%, Pl=53%, D=0.45 第31-32題為題組
本題旨在評量學生是否瞭解五大湖區附近的地形作用歷史,和其形成許多小湖泊的主要作用營力。依地理位置的介紹,明尼蘇達州在上次冰期最盛時是被廣大的冰層所覆蓋。由答對率曲線圖可看出本題對於中低能力群有較明顯的區分力。由選項分析可看出選項(C)對於低分組考生一定的誘答,推測作答動機是因為近五大湖地區為北美的重要水運系統,故考生若缺少了對歷史知識的瞭解,僅就其位置及分布而推論,是無法正確作答的。 (二)對各能力群考生均具明顯鑑別度的試題 中低及中高答對率的試題常具有很好的鑑別度,對於各能力群都有一定的區別力。此類的試題對於中等能力考生有一定的難度,這個難度可能來自於基本地理概念的定義理解及其應用,或是試題的資訊需要仔細地解讀及轉換形式。由選項分析可以發現這類試題會有一個較具誘答力的選項,或是有棄答率增加的狀況。接下來以97指考第19題及95年指考第13題為例分別說明: 【97指考第19題】P=44%, Ph=65%, Pl=25%, D=0.40 第17-19題為題組 表3
19.土壤保水力的高低與「土壤質地」有密切相關。下列哪個試驗場有最佳的土壤保水力?
本題旨在評量考生能否理解土壤顆粒與土壤保水力之關係。土壤保水力與「土壤質地」密切相關,土壤質地由土壤顆粒大小決定,顆粒愈小,水份愈易附著於其表面,並且不易交換、流動與蒸發。由選項分析可知,選項(B)具有相當的誘答力,由於丁試驗場的特定降水期間的總土壤流失量是四者當中最低,然而,此現象是受到土壤質的及植被種類影響。由問卷調查可知,94.8%的受訪教師曾教過土壤質地與土壤保水力之間的關係,也指出考生「對土壤單元較不重視,認為大考出題率較低5」;「因此,基礎知識不紮實,認知能力不足」;「對土壤質地與植被關係及土壤透水性的差異與逕流關係不夠瞭解」。尤其是「社會組學生一般較『懼怕』數字」,可能也是影響作答的關鍵。46.2%的受訪學生是以「由「黏粒比例」判斷」,38.0%的受訪學生是由「土壤流失量大小」判斷,15.2%由「砂粒比例」判斷。受訪老師認為,本題組設計無大問題,「只是考生疏忽『土壤質地』的意義,所以本題評量基礎觀念的應用,是很好的命題設計」。 【95指考第13題】P=58%, Ph=82%, Pl=32%, D=0.50 第13-15題為題組
本題旨以實際燈塔搬遷的個案,由位移前後的絕對座標得知燈塔位移的方向。由燈塔位移前後的經緯度,可得知其往西南移動。「經緯度」及「方向測定」是高一地理學通論的重要觀念,考生需要將題目所提供的訊息轉化為空間相對關係,有一定的難度,使得本題有0.50的高鑑別度,其中,低分組考生並非是作答錯誤,而是有26%的低分組考生放棄作答。 (三)對中高能力群有明顯鑑別度的試題 低答對率的試題表示對於大多數的考生都無法正確答題,難度較高,此時,高能力群的考生答對機率可能較高。命題者必需充份掌握考生的知識背景,了解考生在學習過程中所習得的重要概念或是迷思概念,方能以此入題,故此類的試題不易命製,一不小心就可能變成低鑑別的狀況。就試題形式而言,具備誘答力的選項會由一個增加到三個,或是解題需要多個關鍵知識與能力。接下來以94指考第20題及97年學測第57題為例分別說明: 【94指考第20題】P=17%, Ph=27%, Pl=12%, D=0.15
【98學測57題】P=19%,Ph=37%,Pl=7%,D=0.30 很多國家的首都由於是政治、經濟、文化的中心,自然成為該國的最大都市。表三為某國首都2000年的相關統計資料,此都市最可能是: 表三
(A)英國的倫敦 (B)韓國的首爾
本題旨在評量考生是否瞭解首要型都市是拉丁美洲都市等級規模分布的特徵。由表三統計資料可知該國首都具有人口規模、與第二級都市人口規模差異大、各項產業活動集中率高等特色,由都市人口比例與資源分配比例的集中度可知,該國的首都可推知為「首要型都市」,一旦判定為首要型都市,則可由選項中選出位於南美洲的城市。 本題的答對率僅19%,對於高能力群有較明顯的區分力。由選項分析來看,選項(A)對於全體考生有相當的誘答力(填答率約44%),高分組考生填答選項(A)及選項(D)的比率相當,代表本題對高分組考生是個相當不易抉擇的題目。考生認為金融機構數目佔95%,表示該城市為國家的金融核心,倫敦應為正確答案。然而,都市為非農人口所在地區,其機能多為金融、服務業,此為一般常見的都市特徵,若僅以金融機構數目作為判斷是否為首要型都市,是較不客觀的。人數佔總人口比例僅29%,可了解都市人口比例仍低,與英國的城市人口不符,且雇用超過5個工人的工廠數佔全國比例有70%表示該地工業機能,也與倫敦特質不符。 對於考生而言,本題的難度較高。命題者提供國家及首都兩種資訊,考生可以由四個城市特性(包括都市機能、國家發展歷程等)作答,若考生不知道利馬是什麼的時候,仍可由國家發展歷史的角度來作答,應無困難。 (四)小結 依筆者近年觀察,當評量內容是基本簡單的地理概念,命題素材不繁複,難度不高時,試題可以區分中低能力群的考生;當增加選項誘答性、解題概念的個數及層次、或是不同的閱讀能力(文字、圖、表等)時,試題難度會提高,轉向以鑑別中、高能力群的考生為主。至於本文未提及的低鑑度試題是無法有效地區別考生能力,當試題是高答對率而低鑑別度,表示是屬於常識性的試題,高低能力的考生均可輕鬆得分;當試題是低答對率且低鑑別度,表示試題概念及資料處理已經超出考生能力範圍。此兩類的試題在評量之後,應特別檢討分析,並提出改進之建議,尤其是要澄清試題的概念是否清楚,且概念本身是否為考生的能力。 大學入學考試扮演著為大學校系選才的角色,目的是將各考生的能力有效地區分。而如何有效地量度考生的能力,是要透過試題分析及研究才能更進一步獲得結論。本文僅就鑑別度作為切點進行分析,以地理科試題為例,說明不同鑑別度功能所呈現的命題理念及選項設計,希望可以作為各界教學及評量參考之用。
1 余民寧(2002)教育測驗與評量-成就測驗與教學評量。台北:心理出版社
2林重新(2001)心理與教育測驗。台北:揚智文化。
3單選試題之「P值」稱答對率,指答對該題的考生在全體考生中所佔的百分比。鑑別度(D值)是高分組(前33%的考生)的通過率減去低分組(後33%的考生)的通過率所得之差,即D=Ph-Pl。
4本文所舉例之試題的分析內容,節錄自大考中心該年度試題分析報告後修改而成。
5標楷體文字是引用當年針對受測學生之問卷所得。
|
|||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||