【專訪】越測越不準?黃宏宇教授破解古典測驗理論瑕疵,釋放個人真實內涵

【專訪】越測越不準?黃宏宇教授破解古典測驗理論瑕疵,釋放個人真實內涵
Photo Credit: iStock

我們想讓你知道的是

考試是台灣人共同的生命經驗,有些人甚至從小學一路考到研究所。但你有想過這些考卷真的能反應你的能力嗎?而這些利用過時的「古典測驗理論」,所設計出的考卷,又為何能穩定佔多數?

作者:人文.島嶼 ( 採訪撰文:吳景濱|編輯:張傑凱|攝影:陳怡瑄 )

該如何瞭解一個人呢?測驗是很好的方式之一。

台灣是一個測驗導向的社會,我們藉由一份份有系統的測驗,意圖瞭解一個人的學業成績、能力評量、人格特質、態度傾向甚至情緒波動。

這使我們從小到大經歷了無數次的測驗或考試,而所映照出的分數,就代表了個人的傾向、態度,甚至價值。然而,這許多大大小小的測驗,真的能測出我們想要的答案嗎?

台北市立大學心理與諮商學系黃宏宇教授,認為過去編製的傳統測驗,存在一些假設瑕疵,例如最容易被一般大眾提出的詰問:「這個測驗真的準嗎?」。

在我們的成長經驗中,通常會將一份試卷的分數加加減減,最終得出的總分就是測驗的結果,同時也代表了我們某項特質或能力的程度。

這是傳統測驗普遍基於「古典測驗理論觀點」所編製出的處理方式。古典測驗理論方法相當簡便且快速,但是測出來的結果,真的能夠反映出每個人的真實表現嗎?

臺北市立大學心理與諮商學系黃宏宇教授
台北市立大學心理與諮商學系黃宏宇教授 Photo Credit: 陳怡瑄

越測越不準?古典測驗理論的瑕疵

事實上,有別於固定的試題內容,人是更多變且容易被外在因素影響的個體。因此運用古典測驗理論加總各題項的分數,用總分表現個人特質的方式,忽略了每個人對於各題項認知處理的歷程。

黃宏宇說測驗的目的,是希望透過穩定、且有效的方式,真正測到個人的真實能力或態度傾向。但是運用古典測驗理論所編製的測驗,卻有著三大假設錯誤。

「其一是尺度問題」,黃宏宇進一步說明:「例如今天有一個題項詢問你的憂鬱程度,請你圈選1到5分,但是很有可能因為每個人對於分數的標準都不一樣,有人覺得4分很嚴重,有人可能覺得3分就很嚴重了。另外還有種可能是,假設最近考試壓力大,你覺得好像蠻憂鬱的,於是填答了4分甚至5分,這就是『等距假設』所導致的誤差。」

因為各題項的分數,在每個人的心理表徵並不見得是等距的。而如果將這些不等距的各題項分數加總,並聲稱該總分就是個人特質的話,便可能會影響測驗結果。

「另一種為『答題風格』的假設錯誤。」黃宏宇表示我們每個人,都有屬於自己答題的「反應風格(response style)」。

jajj4qgbiv1t08yrs5eb57kw4eb9dn
Photo Credit: 中央社

可以觀察一下自己或他人,在寫測驗的時候,是不是會有特別的填答傾向?例如有些人特別喜歡填答「是」──具贊同試題的傾向,或者相反。另外,還有些人反應比較大,在分數1到5的答案之中,不是將分數填答在「1」、就是填答在「5」,很難有中間值,這就是每個人的答題反應風格的不同。

另外黃宏宇指出華人普遍喜歡趨中的填答,「還好」、「沒感覺」是經常會遇到的中庸答案,其實這樣的答題反應風格,相當容易造成研究的偏誤。比如說,具趨中反應的受試者,填答「3」時,其內心反應的強度,搞不好已經和填答「5」的人相似。

「然而在古典測驗理論的觀點裡,無法改善這類偏誤,只能把它列為測驗是否有效的影響因子而已。」黃宏宇補充道:「事實上,每個人在個別試題的反應上,都會有不同的表現。」

最後第三個假設錯誤是「測驗難度的依賴性」。黃宏宇表示:「以古典測驗理論所編製出的測驗,同時拿給普通班、資優班、資源班進行施測,會發現不同的測驗結果。對於資優班而言,題目可能相對簡單;但是對於資源班來說,題目又會過難,此時就很難去定義測驗本身到底是偏難或偏易。」這是因為受試者具有不同族群的特殊性存在。

倘若具有不同族群的受試者同時進行同一份測驗,則因為群體間存在能力上的差異,進而會影響到測驗結果分析。此外,在古典測驗理論的信度模式下,測量結果的誤差不會存在群體間的變異,這也是一個很不合理的假設。試想一件M號的衣服,它給中等身材的人穿很合身,但是對於高大身材的人就不是那麼合適。測驗也是如此,中等難度的測驗適合一般學生,但不見得適合資優或資源班學生,因此測量結果的誤差就會不相同。

而遵循古典測驗理論的研究者,通常將測驗分數視為等距量尺來計分,忽略個體的認知反應歷程,以及忽視測驗結果誤差的變異性,並據此宣稱獲得研究結果。黃宏宇便強調,以此方法所得出的研究結果,可能是有瑕疵、或是不正確的。

當代測驗理論:試題反應理論(item response theory, IRT)

「試題反應理論則可以解決上述問題。」黃宏宇堅定道:「因為在試題反應理論所建構的機率參數模型裡,已將受試者的能力與試題的特性納入考慮,其中受試者的表現情形或反應機率,可以與內在潛在特質形成一種連續性遞增的數學函數。」

這條數學函數稱作「試題特徵曲線」(item characteristic curve, ICC),是由數學方程式所推導所形成的「機率參數模型」,可以用來表徵每一道試題的特性,包含試題難度、試題鑑別度與試題猜測度,並透過機率模型,顯示受試者的個體能力在不同試題上的答題表現。在這個架構之中,能提供更有效且貼近真實的能力或特質的測量。

具備「試題特徵曲線」的題項,可以估計出受試者在某一試題上的選答機率,以及受試者某種潛在特質的程度。當潛在特質的程度愈高(或愈強),在試題上的正確反應機率便愈大。

03-答題風格
Photo Credit: 人文島嶼

黃宏宇指出:「有別於古典測驗理論以測驗總分來看待個人特質,試題反應理論是以單一題項觀點為出發的測量理論。」在這個關係線中,可看出試題是否能有效鑑別出個人的潛在特質,以及瞭解個人在答題上更細緻的樣貌。


猜你喜歡


加速敏捷開發腳步!AWS Amplify 協助企業打造高效能應用服務

加速敏捷開發腳步!AWS Amplify 協助企業打造高效能應用服務

我們想讓你知道的是

台灣企業勢必需要明確轉型策略,搭配適合的雲端工具作為入場券,一來降低數位化門檻、二來減少摸索資源的浪費。

打造敏捷開發流程、加速前後端工程師的協作效率,是許多企業在面臨疫情之後,認為亟需將彈性元素納入為企業文化當中。雲端運算服務領導業者 AWS 台灣,觀察到前端工程師主要負責處理最貼近用戶的 Web、行動應用程式,但他們往往需要與後端團隊合作過程,遭遇耗費大量討論時間,才能處理使用者介面事項。

為了降低前後端的溝通成本,有些前端工程師在掌握介面管理能力之後,開始橫跨到後端的伺服器、資料庫開發經驗,甚至進一步培養技能,成為能負責測試、安全、效能多面向的全端工程師。

有的人會透過 Side Project(利用業餘時間開發有興趣的專案)或參加 Hackathon(黑客松)方式,運用 AWS 雲端工具嘗試自行擴展後端,並建立簡單易用的工具程式。究竟,AWS 平台提供哪些資源幫助前端工程師擴展更多元的技能樹?

掌握入門教學!前端工程師如何將 REACT 程式快速上雲

前端工程師運用 AWS Amplify,快速在雲端建立 REACT 應用程式

事實上,AWS 的入門課程指出,運用 AWS Amplify 在雲端建立 React 應用程式及服務集,只需五個學習歷程,包含建立 React 應用程式、初始化本機應用程式、新增身份驗證、新增 API 和資料庫、新增儲存體。如果想快速了解 REACT 程式快速上雲的方法及示範教學,本文節錄 AWS QUICKSTART 學習資源內容,幫助前端工程師更快掌握重點。

首先,何謂 AWS Amplify?AWS Amplify 是一項全托管 Front-End Web & Mobile 服務,採取無伺服器模式,在後端建立、部署和託管單一頁面 Web 應用程式或靜態網站的 Git 型 CI/CD 工作流程,加速開發過程直接整合其他 AWS 服務。舉例來說,像是整合封裝好的 Library 資源、或運用一些 Components UI 軟體去配置後端,以及利用 Admin 的 UI 做資源上的管理。

打造第一個你在 AWS 上的應用程式

AWS Amplify加速Develop、Deliver 與 Manage流程

AWS Amplify 主要優勢展現在三大項工作階段,分別是 Develop、Deliver 和 Manage。Develop 部分可利用 CLI(Command-Line Interface)或 Admin UI 設定後端,使用 GraphQL 或 REST API 設定也是可行的,進而快速建構一個前後端專案。此外,開發者還能搭配 AWS 其他服務,例如使用 AWS Authentication 全托管認證服務,或 DataStore、Storage 等多項 Feature Categories。

到了 Deliver 階段,若是要透過 AWS Amplify 執行 Web Hosting 任務,可拆解出三個流程。首先是將 Repository 與 AWS Amplify 進行連結,這邊可整合 Amplify Console 提供的支援資源包含 Github、Bit Bucket、Gitlab、以及 AWS 的程式碼代管工具 AWS CodeCommit。一旦連結以後,開發者可透過自己的 Configuration,决定在各個不同的 Build 要執行什麽樣的指令,最後再透過 Deploy 方式,幫助工程師進行前端的 Hosting。

在最後一個 Manage 階段,開發者則可利用 AWS Amplify 的 Admin UI,以開啓瀏覽器方式,透過視覺化介面統一管理資源。例如在 Admin UI 介面左側選單,涵蓋 Content、User Management 的區塊,讓參與專案但沒有 AWS Console 權限的使用者,可利用 E-mail 方式邀請使用者進到 Admin UI,進行一些設定或觀看其他相關資源;甚至在 Set Up 區塊還有相關選項,例如要針對 Data Modeling 或 APP User 做權限管理,以及可連結到 AWS 其他服務。

透過 AWS 增加你的雲端技能 在組織發揮你的影響力

運用開放資源 AWS Amplify Framework,打造高效能應用服務

AWS QUICKSTART 學習資源還介紹到另一個 AWS 提供的開放資源 Amplify Framework,一樣可利用 Amplify CLI 的方式,配置 Web 和行動應用程式的前後端,以及開發者需要用到的服務,讓應用程式更易於構建,並獲得安全、高性能的使用體驗。

Amplify CLI 一樣有支援多個不同 Category,例如較常使用的幾個 Comment Line,像是Amplify Init 指令做初始化或創建幾個不同資源;或是 Amplify Status 指令,隨時在開發過程查看各個 Category 狀態;甚至專案結束後,可利用 Amplify Delete 直接把 Amplify 所創建的資源做一次性删除。另外也可透過 AWS Amplify Client 利用比較抽象化方式,讓開發者直接利用 Component 實現想要完成的項目。

實際示範給你看,設定 React 程式可以如此簡單

假設前端工程師現在要快速部署一項有驗證功能(Authentication)還要搭配 Rest API、GraphQL、Analytics 等服務的應用,如何快速設定 React 程式?在 AWS QUICKSTART 的學習資源後半段,有詳細說明要啟動這類型專案的操作方法。

開發者可以先利用 AWS Lambda Function 結合 Amazon API Gateway 方式,創建出一個 Rest API,到了 Authentication 階段,則使用到 AWS Cognito 的服務,接著針對 GraphQL 需求,可利用 AWS AppSync 服務,以及最後如果有 Analytics 的需求,也可以串聯 Amazon Pinpoint 工具。Amazon Pinpoint 是一項彈性而可以擴展的行銷通訊服務,開發人員可利用 Amazon Pinpoint API 追蹤 Web 使用者的行爲,或是針對 APP 推送、電子郵件、簡訊點擊行為蒐集到具體的資訊。

在這整套流程示範之後,值得特別強調的是,AWS AppSync 是一項全托管的服務,能及時更新,甚至在使用者離線時仍可以持續去創建和修改數據。一旦設備連上線之後,這項應用程式就可重新連線,並接到後端同步數據,達成彈性、自動化擴展或減縮各式 API 的請求。

AWS 最後強調,Amplify 是相當適合建構出一個靜態 Web、Apps 服務模式,例如說像是打造部落格,或者是一項 APP 內的代辦事項應用等;加上 Amplify 具全托管服務特色,可串聯上述 AWS 在雲端所提供的資源,都能在部署過程加以整合,加速開發流程及效率,並且有效節省開發資源。如果想用低門檻的雲端解決方案,其實前端工程師是能在開發流程更靈活配置資源,甚至為公司的商業、服務模式挖掘出創新價值。

填寫表單諮詢專人 快速在 AWS 找到適合你的快速上雲服務與工具!

了解更多:AWS 開發者系列


猜你喜歡