大考中心自2023年起，在不改變理論架構與計分方式下，編製大學學系探索量表（以下簡稱探索量表）2024年新版題本。量表架構從30種知識領域增加為33個；題目從150題擴增為198題，均為全新命題。新版編製過程包含：知識領域的重新定義、大學教授對知識領域重要性重新調查、建立各知識領域題庫、高中樣本修題定卷與正式施測、信度與效度檢驗。

　　本報告（上）篇先說明探索量表理論架構與計分解釋的起源與研發過程，（下）篇闡述建置2024年新版的標準化程序，及信度與效度驗證。為連貫通篇，建議讀者先閱讀（上）篇（選才電子報345期），再續讀本（下）篇。

壹、量表內容效度

　　探索量表新版題目應涵蓋知識定義的全部範圍，並避免遺漏或過度側重某一部分；除運用統計方法分析題目外，應由各領域專家對所有題目以邏輯分析方法整理與判斷，評估題目是否能夠概括及反映所定義的範圍，用以確保內容的精準和完整，此為內容效度檢驗。（葛樹人，2006）

　　本量表新版在命題開發階段，先邀請各知識領域共15位學者專家，以舊版（2011）定義為底，含括基礎知識與領域新知重新撰寫定義。而後皆以新定義為命題規準，題型包含學習內容、日常活動和生涯發展。

一、機器語言模型進行內容效度分析

　　主題假設：新版題目與舊版題目具有一致與合宜之內容效度，且新版量表題目更具前瞻與應用價值。研究小組以三種機器語言模型代替專家進行內容效度分析，分別是 ChatGPT-4T、Gemini1.5 Flash與Microsoft Copilot。以下是三個模型的簡介：

　　ChatGPT-4T 是由 OpenAI 開發基於深度學習的大型語言模型（LLM），其核心是Generative Pre-trained Transformer（GPT），它使用 Transformer 架構來處理和生成語言。ChatGPT利用注意力機制來理解文本的關聯性，確保生成的回答具有邏輯性與一致性，也容易理解各種知識間的關聯與區別。

　　Gemini 1.5 Flash是由 Google DeepMind 於2023年開發的多模態AI模型，特色是成熟的推理能力、進階程式設計和原生多模態模型（multimodal）。優勢在多模態理解，可同時處理圖像、音訊、影片等；超長文處理能力；強化程式能力，可讀寫和優化程式碼；類似 GPT-4 的能力，但更強調跨模態應用。

　　Microsoft Copilot的核心基於 Open AI 的GPT系列模型，強項在於文檔撰寫與資料整理，可直接在 Word、Excel 中自動生成對比表格、流程圖，並引用雲端存儲的文檔資料。Copilot 的適用團隊協作與文檔處理，如團隊報告、技術方案對比，程式設計與工程交叉領域，需嚴格資料安全的敏感場域等。

　　本研究先備妥30個知識的舊版題目（每個知識5題）與新版題目（每個知識6題），以單一知識領域為單位，對三種機器語言模型提出完全相同的問題：「在此準備了有關「OO」領域的知識A與B，（貼上A舊版題目，B新版題目），請比較A與B的差異。而後將三種模型在30個知識回答文件綜合整理與分析，取其共通內容，作為內容分析之檢驗結果。下表為30種知識在舊題與新題的差異比較表。

30種知識領域舊題（2011年版）與新題（2024年版）差異比較表

二、內容效度的綜合評價

　　從上述各知識舊版與新版題目的內容評價，發現大多數舊版題目皆為基礎知識，新版再增加應用、延伸或新趨勢。如「數學」新版深入發展與多領域應用，「物理」還強調與高科技行業的結合，「化學」新版重視將化學知識轉化為技術和產品的實際應用。「資訊電子」新版側重高端技術和專業技能的應用，並與職業發展密切相關。「工程科技」新版內容具有更高的技術與系統整合層次。另外，「生命科學」新版將生物學的知識應用於生物技術和基因工程等領域。「藝術偏向」新版較強調概念和創新，比較像是新媒體藝術、跨領域藝術，鼓勵學生探索新的藝術形式和媒介。「教育訓練」新版運用科技和創新設計，關注學習者的個別需求和學習體驗。顯示新版的題目不但涵蓋基礎知識，亦新增應用、延伸和新的趨勢。

　　新版與舊版之間，有一些知識領域題目的差異是在於描述不同面向，而非具體的內容增強。如「經濟會計」舊版適合對國家經濟政策，新版適合對投資理財、財務分析。「心理學」舊版偏向應用和評估，重視諮商與衡鑑，新版偏向理論和發展，強調生理基礎。「傳播媒體」舊版比較像大眾傳播學系、新聞學系，新版比較像廣電電影、數位媒體設計系。可能有些知識領域的範圍較廣，造成新舊版專家對內容範圍的看法不同，但也顯示知識內涵隨時代有了變遷，如前述的的「經濟會計」過去重視總體經濟，近期轉到個體經濟；「傳播媒體」過去是大眾新聞為主力，近期則是以少眾自媒體影像為夯。

三、小結

　　探索量表有別於一般的心理測驗，它以具體的學習活動為主題，而非抽象的理論概念，因此內容效度（或稱表面效度）在此顯得格外重要。惟同時對33個知識領域的專家評鑑工作幾乎是不可能的任務，基於時間與人力成本效益，本研究改以三種AI機器語言模型進行內容效度分析，以此視為專家效度，此法是否合宜，有待後續研究判斷。

　　驗證的結果顯示新版與舊版在題目上，大都具有合宜之內容效度，且新版量表題目更具前瞻與應用價值；僅有少數知識領域的範圍較廣，新版與舊版題目趨於各自表述，新版題目無法展現其知識內涵的變遷。

貳、量表的信度檢驗

一、新版正式預試之高中樣本

　　探索量表新版經命題與修題完成後，即舉行正式預試，以分層抽樣法進行高中樣本抽樣。考量地區與性別比例，地區以北部、中部、南部、東部及離島為區分。最後考量學校意願，選出台北市、新北市、基隆市、宜蘭、苗栗、台中市、彰化、雲林、台南、高雄市、屏東、台東與澎湖等地區，共計21所高中。有效樣本人數為6,056人，受測年級為高二或高三學生，其中男生3,182人，女生2,874人。

　　在新版線上系統完成後，2024年8月中旬到9月底舉行正式預試。由各校輔導教師安排學生在電腦教室線上受測。預試結束後蒐集樣本答題資料，即進行內部一致性信度與建構效度分析。

　　高中樣本33個知識分數的平均數與標準差，如附錄表（一）。平均分數最高的是心理學（10.28），治療諮商（10.20），管理（9.85）；平均分數最低的是數學（7.16），生產作業（7.21），生資食科（7.51）。

二、新版內部一致性信度檢驗

 　　本次檢驗採用Cronbach’s α內部一致性信度，作為考驗本量表信度的方法。信度值會受到題數與所測測驗領域的影響，在文獻上對信度的高低並無一致的檢驗標準，Gay（1992）認為信度係數如在.9以上，表示量表信度甚佳，Bryman & Cramer（1997） 認為信度係數在.8以上表示量表信度良好。惟本量表每個知識僅有6題，內部一致性信度可能會受到題數較少的影響。

　　新版探索量表中每個知識領域為6個題目，單獨組成一個分量表，共計有33個知識分量表，分量表之內部一致性α信度係數如附錄表（二）。整體而言，新版均有良好之內部一致性信度，新版信度係數從0.68~ 0.93，與舊版比較（劉兆明等，2010），舊版信度係數為0.85~0.96，新舊兩版的差別在於新版的公共安全（0.68）、生產作業（0.76）、設計（0.77）、教育訓練（0.77）、行政（0.79）等信度相對較低，這可能與新版命題增加應用、延伸與新趨勢有關，包括新命題的知識領域在內，如何精進題目內容的內部一致性，有待量表後續的研究發展。

三、新版題目題項分析

　　新版的題項分析中，以全體喜歡與不喜歡的差異小、男女性別喜歡百分比差異小為合適題之考量標準。

（一）全體高中樣本圈選喜歡與不喜歡百分比的差異在-2%~ 2%之間，也就是最有區別性的題目，計有下列10題：
1.好奇生活中材料（如半導體）如何產生（化學）；
2.評量員工的工作表現與績效（人力資源）；
3.學習歷史相關知識，探究過去人事物與環境的關係（歷史文化）；
4.了解全球環境變遷的原因與影響（地球環境）；
5.設計最快速到達目的地或最大化流量的演算法（交通運輸）；
6.從事知名品牌的零售或連鎖經營（銷售行銷）；
7.學習藍圖、製圖和模型製作的方法和技巧（設計）；
8.認識廣播、電視和網路的節目製作與分工（傳播媒體）；
9.了解社會正義的意義與內涵（哲學宗教）；
10.重視藝術創作背後的意圖與理念（藝術）。

（二）全體高中樣本圈選喜歡的百分比高於75%者，該題過多人喜歡，鑑別力不優。有下列5題

1.學習與人合作、協調與溝通的方法（管理）；
2.學習批判思考，運用邏輯來進行論證（哲學宗教）；
3.學習各種心理功能運作的原理、評估的方法與策略（心理學）；
4.經常因為幫助別人學習新事物而有成就感（教育訓練）；
5.富同理心、易覺察他人感受，擅長詢問與瞭解問題（治療諮商）。

（三）女生喜歡程度顯著高於男生的題目有5題
1.學習音樂、舞蹈、美術、戲劇等藝術的詮釋和技能（藝術）；
2.從事心理測驗的編製與分析工作（心理學）；
3.從事諮商心理師、臨床心理師相關工作（治療諮商）；
4.學習個別或團體心理諮商與治療技術（治療諮商）；
5.認識中外藝術文化，並了解藝術表達方式（藝術）。

（四）男生喜歡程度顯著高於女生的題目有5題
1.學習電路的基本結構及原理（資訊電子）；
2.運用科學讓機械零件協同運作（機械）；
3.改良機械構造設計，提升運作效能（機械）；
4.學習電腦軟體、硬體、韌體的知識（資訊電子）；
5.了解各類型驅動力源的運作模式（機械）。

貳、新版的建構效度

　　探索量表新版以33種知識領域為架構，由受測者與大學教授效標的相似度為適配依據，並不需要探索潛在因素的建構效度驗證。惟33種知識領域或許內含Holland 六種潛在因素，或 Prediger之雙極理論，為建立探索量表進一步解釋的理論依據，主題假設是探索量表高中樣本是否具有六因素及四因素的潛在因素。

　　採用探索性因素分析（EFA）進行建構效度驗證。探索性因素分析以共同因素對總共同性之貢獻極大化為目的，採用主軸因子法，且研究理論結構上因素間具高度相關性，透過promax法進行斜交轉軸，轉軸後取其結構矩陣的因素負荷量進行分析，≥ 0.50 為良好指標。同一知識領域上負荷量最高者歸屬在該因素。

　　新版高中受測資料，採EFA萃取六個因素與四個因素，各題的因素負荷量皆在所屬的因素下為最高。以結構矩陣檢驗結果，六個因素所有題目的因素負荷量在 .61～.90之間，請見附錄表（二）；四個因素因素負荷量在 .55～.95之間，請見附錄表（三）。

　　六個因素命名為理工R、生醫I、藝文A、心理S、社科E、商管C，和Holland興趣六類型頗為相似。如「理工R」中因素負荷量較重的有數理化與工程；「生醫I 」負荷量較重的有生命科學、醫學與生資食科；「藝文A」的負荷量較重的有設計、藝術、媒體傳播、語文；「心理S」有心理、諮商；「社科E」有歷史、社會、哲學與法政；「商管C」有商管、金融與運輸。

　　四個因素命名為理工、生醫、社文、法商，彷如ACT的工作世界圖或大考中心18學群地圖。理工組為數理化與工程；生醫組為生命科學、醫學與心理學、社文組是語文、設計與社會哲學；法商組是法政、商管、財經。六因素可回應興趣類型論，四因素可回應大考中心18學群地圖。量表分數除了原本學群學類適配功能外，亦可將量表組成六型分數或工醫文商四組分數，以此做為生涯興趣量表的替代工具，或大學考試選考的決策參考。

參、量表效標關聯效度檢驗

　　效標關聯效度（Criterion-related validity）是指量表或測量工具與某個效標，criterion間的關聯程度，用來衡量量表在與既有標準的符合程度上是否有效（Sackett & Yang，2000）。探索量表以高中生自陳對大學學習的興趣分數，來對應大學教授對知識重要性評分。大學教授的重要性評分可稱為專家效標，大學生樣本特定學類的知識平均分，與對應大學教授特定學類重要性平均分，計算兩者Pearson相關值，檢驗相關值否顯著，作為同時效標關聯效度之依據。

　　主題假設一：大學生樣本特定學類平均分與對應教授組平均分的相關值顯著的大於隨機抽樣組之相關，稱為具有效標關聯效度；主題假設二：若特定大學生學類組與非特定教授組的相關值顯著小於特定組的相關值，表示本量表能有效的為高中生區別不同學類之適配程度。

一、大學教授調查來源

　　「大學選才與高中育才系統」於2022年邀請各校系以五點量表方式，對33種大學知識領域的重要性進行填答。感謝該計畫惠予大考中心使用33種知識領域大學教授所評比的平均數與標準差，取得方式應屬二手資料。

　　比較2011與2022年調查結果，2011年調查的外國語文、數學與管理等知識領域的平均數最高，建築營造、食營生計的平均數較低。2022年調查大學校系選擇外國語文、人群服務與管理的平均數最高、交通運輸、建築營造、食品生技與機械的平均數較低。人群服務的重要性隨時間增強，機械的重要性隨時間降低。

二、大學生樣本來源

　　探索量表新版為考驗效標關聯效度，本研究小組於2024年10月針對33種知識的相關學系大學生進行線上測試。先考量大學科系的分布包含各學群。接著以郵寄方式將邀請函、施測須知等資料郵寄給該系教授或系所辦公室，請教授於課堂上通知學生上網受測探索量表新版，學生自由選擇參加作答。大學測試以Google Form設計調查表，全部在手機上作答，最後增加兩題「你對就讀科系是否有興趣?」「你有過轉系的念頭嗎?」，作答完畢，可立即取得33種知識分數結果報告。

　　2024年11月底研究小組收集大學生作答資料，填答者共1085筆。排除填寫對就得科系沒興趣且有過轉系念頭的學生398人，餘下對是對就讀科系有興趣的大學生，以這些對本科系有興趣的大學生作為有效樣本，共計763人。因學生自由意願作答，有些科系人數不足或無人作答，將部分學生整合在同一學類，結果有效樣本分屬於30個學類，以此對應這30個學類的大學教授對知識重要性調查結果，30個學類參與填答的系數共計687系。

三、檢驗效標關聯效度

　　主題假設：大學生樣本特定學類平均分與對應教授組平均分的相關值顯著的大於隨機抽樣組對應教授組之相關，稱為具有效標關聯效度。

　　計算30個學類的大學生樣本在33種知識的平均數（A），同時計算學類教授對33種知識重要性調查的平均分（B），如附錄表（四）。大學教授對33個知識重要性平均數在此扮演效標角色，計算（A）與（B）的Pearson相關值。另以大學樣本全體763人的33個知識平均數當作隨機樣本分數（C），計算（C）與（B）的Pearson相關值，其結果視為隨機相關。比較（A）與（B）相關與（C）與（B）相關的差異，採用兩個獨立樣本相關係數比較的假設檢定（Fisher, 1921），公式如下：

　　結果如附錄表（五）。在30個學類中，除了物理治療與護理兩個學類外，其餘均達到顯著差異（P< .01）。說明以教授重要性調查結果作為效標，能表現出探索量表新版具有相當良好之效標關聯效度。但為何仍兩學類未達顯著差異呢?本研究將於下文進行分析與討論。

四、檢驗探索量表對應學類的適配區別力

主題假設：若特定大學生學類組與特定教授組的相關值，顯著高於非特定學類的相關值，表示本量表具有對應學類的適配區別力。

　　以大學生樣本一個特定學類的平均分對應30個學類大學教授的重要性平均分，計算出30個Pearson 相關值，對應特定學類的教授的相關理論上應高於其他29個相關，如資訊學類大學生與資訊學類教授的相關均高於其他學類，就此假設檢定就驗證出探索量表具有對學類的適配區辨力。

　　檢驗的結果，在30個學類中，符合假設的有23個，不符合的有7個，命中率77%。與興趣量表的預測效度相比，學生興趣組型與符合適配就讀科系的相似度也約75%。表示探索量表雖沒有絕對的預測力，但有四分之三的比率有所區別。若把相關值為第二高業列入命中範圍，則符合高達27個，命中率高達90%，僅有法律、財金、經濟會計等三個學類排名不在最高或次高。從75%與90%的命中率結果表現，本量表大致具有對應學類的適配區別力。

五、適配程度的影響因素

　　前述效標關聯效度與區辨力的驗證過程，發現有些大學生樣本學類在特定學類特別容易達到高相關，等同個人和這些學類很適配，如心理、物理治療、護理，到底是學類特性、樣本特性或統計方法所造成的，就此研究小組拉進大學生與教授樣本的相關值來進行分析。主題假設：大學生樣本在特定學類平均分愈趨近全體平均值者，越容易形成多個學類的高適配。或特定學群大學教授重要性平均分越趨近平均值者，越容易造成學生與該學類適配。

　　分析資料為大學生樣本在30個學類的33種知識平均分（30組），對應30個學類大學教授對33種知識重要性的平均分（30組），大學生樣本全體樣本在30個學類的平均分（1組，視為隨機抽樣），以此計算61*61變項的相關矩陣。結果發現大學生樣本隨機組與其他60組變項相關高於.5的計有20 學類，且這些學類絕大多數都是大學生樣本的學類組，甚少大學教授組；各大學生樣本30個學類組對應其他60組，僅有兩組相關高於.5的超過20學類。

　　故此推估學生個人33個知識分數越趨近隨機，近似平均數者，個人適配的學類數越多；大學教授的重要性分數較不趨近平均值，所以對適配的影響力較小。看來影響適配程度，主要是個人分數分配是否趨近特定學類，若個人分配與平均數比較接近，可能會增加個人相關值高的筆數；相反的大學教授的重要性分數分配趨近平均數的機會較小，但仍有少數文理兼備的學類，如心理、管理等學類，可能讓有些高中生困擾這些學類較常出現在適配排行榜中。為此建議高中生在填答量表時，儘量以非常喜歡或非常不喜歡來表達自己喜歡的程度，避免因分數多趨近中間分而造成適配程度的偏誤。

伍、結論

　　探索量表的計分程序為受測高中生以33個知識領域的分數分布，與特定學類大學教授知識重要性33個分數分布計算相關值，視為該生與該學類相似度之依據。再用高中樣本的相關的平均數與標準差轉換150個學類相關值為標準化z分數，以五種適配程度呈現於該生量表結果報告。

　　新版量表架構知識領域增加為33個；題目從150題擴增為198題，均為全新命題。以18個月時間完成知識領域的重新定義、建立各知識領域題庫、高中樣本修題定卷。正式施測高中生6,056人作為高中樣本、施測30個學類大學生763人為大學生樣本，2022年大學教授對知識領域重要性重新調查為大學教授樣本，以此三個樣本進行信度、效度與適用性檢驗。

　　在內容效度上驗證上，以三種機器語言分析題目，新版與舊版的在題目大都具有合宜之基礎知識建構，新版再增加應用、延伸或新趨勢，題目更具前瞻與應用價值。以高中生樣本採用EFA萃取六因素與四因素，各知識的因素負荷量皆在所屬的因素下為最高。六因素命名為R、I、A、S、E、C，和Holland興趣六類型相似。四因素命名為理工、生醫、社文、法商，彷如ACT的工作世界圖或18學群地圖。

　　效標關聯效度檢驗以特定大學生學類組與對應教授組的相關值是否顯著的大於隨機抽樣組之相關，在30個學類中，28個均達到顯著差異，說明以教授重要性調查結果作為效標，能檢驗出探索量表具有相當良好之效標關聯效度。以特定大學生學類組與非特定教授組相關值是否顯著小於特定組的相關值，在30個學類中，命中率77%，有四分之三的比率有所區別，相關值為第二高業列入命中範圍，則命中率高達90%，顯示本量表具有對應學類的適配區別力。

　　在實務工作中，亟需要了解適配程度的影響因素，發現大學生樣本在特定學類平均分愈趨近全體平均值者，越容易形成多個學類的高適配；大學教授的重要性分數較不趨近平均值，所以對適配的影響力較小。建議高中生在填答量表時，儘量避免喜歡程度趨近中間，分而造成適配程度的偏誤。

陸、參考書目

劉兆明等 （2010）大學學系探索量表修訂與應用工作計畫 結案報告。台北：大考中心。
鍾燕宜、陳景元（2013），銷售行動控制量表的發展與評量，中山管理評論，第十五卷第一期，2007 年三月號，p.197–223。
葛樹人（2006），心理測驗學，台北：桂冠。
Bryman, A., & Cramer, D. （1997）. Quantitative Data Analysis with SPSS for Windows. London: Routledge.
Davis, L. L. （1992）. Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 194-197.
Fisher, R. A. （1921）.  On the probable error of a coefficient of correlation deduced from a small sample.  Metron, 1, 3-32.
Gay, L. R. （1992）. Educational Research Comptencies for Analysis and Application. New York：Macmillan.
Lawshe, C. H. （1975）. A quantitative approach to content validity. Personnel Psychology, 28, 563-575.
Lynn, M. R.（1986）. Determination and quantification of content validity. Nursing Research, 35, 382-385.
Polit, D. F., & Beck, C. T.（2006）. The content validity index: Are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29, 489-497.
Sackett, P. R., & Yang, H. （2000）. Correction for Range Restriction: An Expanded Typology. Journal of Applied Psychology, 85, 112–118.
Wilson, F. R., Pan, W., & Schumsky, D. A. （2012）. Recalculation of the critical values for Lawshe’s content validity ratio. Measurement and Evaluation in Counseling and Development, 45, 197-210.