字級:
小字級
中字級
大字級

與美國測驗相關機構的交流

劉兆明顧問、趙珮晴、游春琪
本中心為加強與國際測驗機構之交流與合作,提升測驗品質與服務,近年藉由不同機會與美國教育測驗服務社(Educational Testing Service, ETS)及ACT等著名測驗機構交流互動。106年時,本中心同仁赴美參加美國教育測驗協會(National Council on Measurement in Education, NCME)年會及其工作坊;107年2月時ETS研究主席來訪,在不同形式的座談與交談下,學習並汲取經驗,收穫良多。
參加NCME年會與工作坊
NCME是測驗、教育、考試及相關教育測驗的專業機構,參加成員有大學教授、測驗發展者及相關專家學者和學生等,其專業包含標準化測驗的使用與建構、新型的測驗模式、成就測驗的設計與未來展望等,數十年一直秉持「教育測驗對每個受試者都具是公平公正的」宗旨推動各種學術交流與活動。NCME每年都會舉辦年會,2017年年會議題為大型測驗的信度與效度、大型測驗結果的運用:教學回饋、隨堂測驗成績檢視、新興科技與資料分析技術、使用學生學習資料用於K-12和高等教育等(NCME網站https://www.ncme.org/NCME)。年會期間我們參加了四場次的工作坊,主題分別是:An Introduction to Linking and Equating in R;An Introduction to Hierarchical Rater Models for the analysis of Ratings;Computerized Multistage Adaptive Testing: Theory and Applications與Moving from Paper to Online Assessment: Psychometric, Content, and Classroom Considerations。
年會期間與ACT交流心理量表的發展
年會中,本中心認識了Changhua Rich(Principal Research Scientist)、Doug Becker(Vice President)、Wayne Camara(Horace Mann Research Chair)、Andrew Dean Ho(Professor of Education)等ACT主管與學者。本中心心理量表係取經於ACT經驗,經由交談得知,如今ACT的心理量表,不僅有推薦受試者適合的學習領域,業與未來職業、薪水進行資料串接,擴張心理量表解釋範圍到未來求職情況。對此,確實是本中心未來持續發展心理量表的一個方向。
年會期間與ETS談線上測驗發展經驗
年會中,巧遇ETS研究主席Dr. R. Bennett,他告訴我們,大型測驗機構欲發展線上測驗,大致可以分成三個階段:
第一階段,著重在電腦設備基礎建設,硬體設備必須可以支應大型測驗的考生人數,而且監考人員必須具備操作技能,才能解決突發事件;此外,試題安全防護不可不慎,包含:題庫來源、傳送過程、組卷過程、試題參數等。此時期不要期待有太複雜的測驗架構,僅能維持一般傳統紙本試題設計。
第二階段基礎資訊設備已經完備,提升試題的品質效能就是此期目標,可調整傳統試題架構,加入自動組卷、自動計分等功能,讓預測結果與實際測驗結果更一致。如有閱卷的話,評分者機制也會在此時受到重視,因為電腦可以同時收集評分者的資料,藉以瞭解評分者是否具有偏離正常軌道的情形。
第三階段可結合前二階段的成果,用累積的資料數據建立模組,這些模組可思考測驗意義與個體學習的目的,藉以驗證認知模型及相關理論;透過反覆地模擬考驗,讓學習理論與真實情境可以相互結合,甚至可以回饋教學現場和考生。
本中心是大型測驗機構,但以辦理入學考試而言,現階段尚未到可以採行線上測驗的模式,畢竟對高風險測驗來說,試題安全、突發應變、硬體防弊措施等都是不可忽略的。不過,Dr. R. Bennett所提出的三階段發展線上測驗仍具有實際參考價值。
ETS研究主席Dr. R. Bennett來訪
107年2月,Dr. Bennett在前往聯合國教科文組織泰國曼谷辦事處主持研討會前,撥冗至本中心訪問並以Educational Assessment: What to Watch in a Rapidly Changing World為題,進行一場專題演講。除本中心同仁外,同時邀請技專校院入學測驗中心、國教院測驗及評量研究中心、臺師大心理與教育測驗研究發展中心等單位之各學科教授等出席。Dr. Bennett提及未來的評量模式將會具備以科技為基礎、更接近個人化、有助於改善學習、運用自動評分、提供更多更有效率的報告等特徵,並以PISA、ePIRLS、NAEP為例做說明。這些電子化評量所累積的大量資料將提供更豐富的研究,如教育數據探勘(EDM)、學習分析(Learning Analytics)。然而效度(validity)、公平性(fairness)、再現性(reproducibility)、總結性與形成性評量依舊受到相同的關注。預估2028年時,全球課程標準的目的與教學的方法將會隨著科技的運用有所改變,負責評量的機構將可望跳脫既有思維、勇於嘗試、專注於原有的核心理念且適時求變。
TOP