衝刺近30年的教改,在政策評估研究上有哪些缺失?

衝刺近30年的教改,在政策評估研究上有哪些缺失?
Photo Credit: 中央社
我們想讓你知道的是

很多時候儘管有做資料分析,有實證結果,然而偏誤的結論比拒絕獲得結論的未可知論者還要可怕,特別是影響不只一整代學子權益的政策上,這個政策叫教改。

唸給你聽
powered by Cyberon

教改其實不是只有學者的事情,學者在教改當中也不是中立的角色,學者有小孩,學者有過去,他們過去的糾葛與孩子的利益都會影響他們的立場。因此我的教改系列文章,向來不以學術界的同儕作為對話的對象。

不過教改的正面後果之一是一堆現代鄉民都念過大學,修過社會科學,因此他們積極地用他們學到的知識,來解讀學者的論證,我認為這是非常正面的發展。我這篇短文談兩個鄉民同胞們也許理解沒那麼深刻的議題,和近來教改的爭議有關。(註:本文使用「鄉民」一詞,並無貶義,作者本人也是鄉民一枚。)

本文要談第一個學術議題是鄉民不斷說統計資料勒?你有做研究嗎?你有讀誰誰誰的文章嗎?大多數教改的相關經驗研究,有一個共通的問題,叫做被主事者牽著鼻子走,主事者決定了你可以拿到什麼資料,拿不到什麼資料。這和美國做任何重大政策變革,國會立法的時候都會同時將政策評估研究當作必要的制衡,將預算編進去是極大的反差。敢問主政的教改人士,有哪個認真看待政策評估?他們連政策目標都說不清楚,甚至換一朝臣,就換一套想法,換一套做法,這就是教改的政策品質,我反對教改最烈的部分,不是具體的政策,而是這個極端不負責任的態度。

你如果仔細讀了我的教改論辯,我個人的立場是反對透過入學制度來消弭社會(出身)不平等,因此大多數經驗研究所關心的問題與我的論證無關。不是我不關心社會不平等,而是我主張透過入學制度以外的途徑來消弭社會不平等,譬如美國總統擬參選人伊莉莎白・華倫(Elizabeth Warren)參議員的免學貸、免學費政策。我甚至不想談公平與否的問題,因為我研究正義的社會心理學,公平正義的評量乃是「情人眼裡出西施」(in the eye of the beholder),每個人都有自己的看法,心中各有正義。

只是即便你試圖回答哪個制度才公平,哪種升學制度更能消弭社會(出身)的不平等,現今大多數經驗資料與分析這些經驗資料的研究都無法回答這個問題。原因不是這些做研究的學者不認真。相反的,這些研究者其實太認真了,他們把統計的結果太當一回事兒,結果忽略了一個重要的方法論的問題,經濟學家的研究常區分所謂「經濟模型」(economic model)和「計量模型」(econometric model)。

經濟模型是研究的第一步,透過理論的推導,你將要估計的參數標定清楚,而計量模型則連結經濟理論與經驗資料,你需要透過什麼樣的方法,做什麼樣的假設,把你標定清楚的參數估計出來。而經驗研究的限制,往往就在你的計量模型與估計的細節裡。所以你看到教改研究,你要問:你要問的研究問題或政策問題(經濟模型)是什麼?他的資料與分析方法(計量模型)有回答到他問的問題嗎?特別是他在估計他感興趣的參數時,有沒有偏誤?

讓我聚焦在大家都喜歡問(儘管我不認為應該作為政策目標)的這個問題:「教改到底有沒有消弭家庭背景所造成的社會不平等?」我的宣稱是多元入學方案將有利於社會最頂層和最底層的兩群申請學生,由於一個蘿蔔一個坑,其他中間的90%的申請學生的權益就因而受損。但有哪些教改研究有辦法區辨兩端的學生?而當大家在「發現」弱勢學生透過特定入學管道上好大學的機率提高許多的同時,有沒有發現這些名額是從誰身上擠出來的?難道是最頂端的那群學生?不過當大家質疑家庭背景取代了非得靠著努力才能得到好成績的考試方式成為入學錄取的指標(多元入學變成「多錢入學」),主事者有讓研究者取得家庭背景的資料嗎?目前的資料只讓你看到有更多沒錢人家小孩上好大學,想讓你「誤以為」名額是從有錢人家小孩挪過來的。而我前一篇文章的街舞案例對比,要告訴你兩端的名額都增加了,是從各位中產階級讀者小孩那兒的名額抽調過來的。

此外,支持教改的研究者喜歡拿同一時間的不同入學方案來說明考試之弊病,或者嚴格講也不是什麼弊病,而是他們對結果的解釋沒那麼有效地消弭社會不平等。然而台大電機系吳瑞北教授也再三強調,他主張的改革方式大致只要調換考試與申請的時間順序。什麼意思?如果真的要與聯考做比較,政策評估需要看整個時間序列,還要有恰當的對照組,但教改一修便是全盤適用,根本沒有政策評估的空間。同時間對不同入學方式的結果比較,因為會有策略運用的問題,有複雜的「選擇性偏誤」。這樣的結果,參考價值極為有限。我相信研究法念得好的鄉民都能體會,但裝睡的人是喚不醒的。教改由於牽涉太多的個人情感與利益糾葛,還有意識形態,信者恆信,疑者恆疑,恐怕總有一天還是得回到街頭,透過社會運動的方式來解決。

回到資料,目前的教改研究多採用學校的行政資料,這有所謂的「在依變項上選擇」的問題(selection on the dependent variable),我們只觀察到上台大、政大等好學生,沒有觀察到另一個「各方面條件都很類似」,但沒有錄取這些大學的學生。有學過迴歸分析的鄉民,應該知道殘差項必須要和你關心的解釋變項之間沒有相關。錄取這些學校的學生的殘差項(也就是他們自己減去在同一個解釋變項/獨變項該值的依變項平均數)都是比較高的,因此迴歸係數的估計會有偏誤,而且偏誤的方向有可能高估或低估。所以教改研究不能仰賴學校行政系統提供的校務資料,而要連沒有考上大學(不只是沒有考上這些「好」大學)的學生都納入進來,分析才有意義。

教改研究的資料另一個常見問題是用群體特徵代替個人特徵,今年花蓮女中這所偏鄉高中發了新聞稿,繁星推薦錄取醫學系全壘打,報導中提及家庭背景的有兩個學生,其一是原住民,其二父母是國中老師,敢問其他「缺失值」的學生,他們的家境會更好還是更差?花蓮女中地處偏鄉和透過繁星推薦錄取醫學系的個別花蓮女中學生是弱勢,乃是相關但不相同的指標。由於經濟模型中界定的研究問題是個別學生的出身,但你的資料和計量模型只能估計各個高中在錄取大學的分佈,因此腦筋清楚的學者會小心衡量他們研究的限制,而不是說你看這發現好厲害,足以支持教改是對的方向。

很多時候儘管有做資料分析,有實證結果,然而偏誤的結論比拒絕獲得結論的未可知論者還要可怕,特別是影響不只一整代學子權益的政策上,這個政策叫教改。從倡議教改迄今近三十年,我們還沒有直截了當可以評估政策的資料,教改猶如一頭不看地圖的盲牛,衝了這些年,還要繼續衝下去。到底是誰攔住了關鍵資料?踹共!

rjcari0aw180015m6j66xixormg6p9
Photo Credit: 中央社

第二個鄉民批評的是不要拿你個人經驗來跟我講,我要看統計數字!作為量化社會學者,我不曉得應該高興還是難過。值得高興的是在對量化研究充滿誤解,甚至不乏敵意的大環境下,居然大家不想聽理論和看質化研究,開始重視量化成果。覺得難過的地方是難道在質化量化的爭議之外,大家的社會學理論訓練到哪兒去了?

大家都讀過韋伯的《新教倫理與資本主義精神》吧?請問在你心中把這本經典著作當成「理論」,還是當作「證據」?你如果看韋伯的原典一片霧煞煞,我建議你讀James Coleman的《The Foundations of Social Theory》,裡面開宗明義就談這本書,談韋伯在書中的論證,作為一個「理論」,而不是把這本書的內容當作「證據」啃。把這本書當作「證據」的人有沒有?當然有,他是歷史學者黃仁宇,他在不同的地方試圖挑戰如果中國/亞洲是儒教社會,沒有新教倫理,難道就發展不出資本主義嗎?因此我沒有要指控把個人經驗的論述當證據予以反對本身是錯誤的,但至少我不斷用個別(甚至假想的個案)或者個人經驗作為論述的一部分,不是像黃仁宇在讀韋伯,而是像Coleman在讀韋伯。

所以把個案當作理論論述的價值到底在哪兒?原則上這使得你必須要從理論的層次來否證這個論述,而不是說我不知道你的個人經驗或個案是否具有代表性,是否與既有的統計資料符合。譬如我舉過的一個對比,兩個跳街舞的高中生,一個高社經地位頂端,一個低社經地位底端,兩個都有足以透過面試錄取的獨特優勢,犧牲掉的是夾在中間廣大的一般家庭小孩。你說統計數字裡看不到?我並不訝異。街舞本來就不是普遍的課外活動,兩者要同場競爭還得其他因素配合(學測成績、申請校系),而「被擠掉的名額」更是一個抽象的推理,儘管類似邏輯在社會學裡有Harrison White的《Chains of Opportunity》,無奈又是連大多數主修社會學的鄉民也沒讀過的著作。

當經驗證據忽略了背後的理論模型,它就只是沒有靈魂的數字。葉啟政教授曾對量化社會研究有精闢的批評,他說量化研究假設「均值人」的概念,而忽略了個體的複雜性、異質性。譚康榮教授對葉教授的批評也有犀利的答辯,他說量化研究者如吾輩(以及當代經濟計量學者)當然有考慮異質性。這裡缺的一個交鋒是量化研究的出發點儘管沒有假設「均值人」或者以「均值人」代替個體,卻必須要以平均趨勢來代替個體,才能有系統地陳述變異。大多數教改研究犯的毛病,在於對於變異的解釋太粗糙,太想當然耳,看國立大學前段班多收了繁星計畫來的偏鄉學校(但原來還是「有錢人家」?)的學生就嗨了起來,以為社會不平等將成為過往雲煙。

譚康榮教授是我以前同事,他大多數的研究我都讀過,其量化資料分析極為細緻,但葉啟政教授批評的大多數量化研究,恐怕都恰如其分地粗糙,而教改研究雖然不在葉老師批評的範疇之內,但到底做得細緻還是粗糙,他們的計量模型有沒有適切地反映他們的經濟模型(理論模型),我們留給讀者們自行判斷。只不過要拿這些經驗證據來說服我,說教改越改越好,我們要分更多名額給申請入學、多元入學、繁星計畫、108課綱,如同大多數被鄉民當作鄉民,認為我們需要被知識(或量化社會研究)啟蒙的家長,我作為一個量化社會科學圈子裡還能抬頭挺胸的「學界逃兵」,還是斷然無法接受。

因此至少目前為止,我看到雙方並沒有真正的交鋒,儘管我不特別期待筆戰。一旁喊燒的鄉民,如果願意思考這篇解釋為什麼不會有交鋒的半學術文章,則萬幸!升學制度是個困難的議題,每一個環節都可以寫一本書來討論。不過只會問資料呢?研究呢?證據呢?恐怕彰顯了我們社會科學理論與方法教育的失敗,而不是成功。

延伸閱讀

責任編輯:潘柏翰
核稿編輯:翁世航

或許你會想看
更多『評論』文章 更多『教育』文章 更多『李瑞中』文章
Loader