【專訪】語言學家徐嘉慧:「過去」是比左邊還是右邊?開不了口的,讓「手勢」幫你說

【專訪】語言學家徐嘉慧:「過去」是比左邊還是右邊?開不了口的,讓「手勢」幫你說
徐嘉慧|Photo Credit: 汪正翔

我們想讓你知道的是

研究手勢的徐嘉慧教授說:「手勢更能表達你的mind(心智),可以即時表現你關注的焦點,還有你對這個概念的理解,也代表比較主觀的面向。」那如果手勢和語言想要表達一個概念,哪個會先開始動作呢?

作者:人文.島嶼(採訪撰文:許逸如|攝影:汪正翔|編輯:黃詩茹)

研究手勢(gesture)的專家──政治大學英國語文學系徐嘉慧教授,在採訪一開始,就笑著安撫我們,「講話時手放輕鬆!反正迴避得了一時,迴避不了一世。」

手勢是再自然不過的溝通方式,我們根本不需要刻意思考怎麼擺弄,雙手就自然而然動了起來。所以徐嘉慧說:「我們可以不點頭、不做表情,但好像真的不能不做手勢,只是多少的問題。」無論是宣傳電影的明星、感性催票的政治人物,或是朋友家人間的閒聊,永遠停不下來的「手勢」,絕對是跨文化、跨語言的共通點之一。

「不清不楚」的手勢才有趣

手勢究竟是什麼?大家第一個想到的,可能是常見的👌(OK)、👍(讚)、 ✌(勝利)。沒錯!這些都是透過變換手的形態來呈現特定且明確的意義,基本上說話的人不需要解釋,對方看一眼就能理解。這類大家最熟知且約定俗成的手勢,稱為「象徵型」(emblem)手勢。

但平常說話時,我們更常用的其實是沒有明確意義,看似隨意比劃的手勢。徐嘉慧對這些沒有固定形式的手勢特別有興趣,「就是不清不楚才有趣嘛!」徐嘉慧說:「這些不清不楚的手勢就是告訴我們,它如何『黏』著語言,不是語言說什麼,它就比什麼,而是兩者共同表達一個概念」。

日常溝通基本上是「多模態」(multimodality)的方式,除了口語,同時加入手勢、表情、身體姿勢等不同模態來傳達意思。很多人會以為手勢只是語言的「附屬品」,但根據徐嘉慧的研究,「手勢並不是附屬於語言,它和語言分屬不同系統,但它們會『共同表意』。」

因此,手勢也是表現認知重要的一環。徐嘉慧解釋,就像是分派任務一樣,當我們想要表達一個概念時,一部分的資訊會分派給語言,一部分的資訊會由手勢負責傳遞。

手勢──先發制「言」

語言和手勢到底要如何分別傳遞不同的資訊呢?

徐嘉慧用「政治大學中文口語語料庫」中一段男女學生聊天的影片解釋。影片中,女學生告訴男學生:有一群女生,「每天都會化妝」。當她提出「化妝」二字時,同時做了一個「摀臉」的動作。這個不到三秒鐘的動作,卻完整呈現了手勢的三個階段:

  1. 準備階段(preparation):以兩手蓋住全臉。
  2. 主要階段(stroke):向臉的兩側打開雙手。
  3. 收回階段(retraction):雙手回到原本的位置。

其中,又以「主要階段」最為關鍵,是每個手勢必然擁有的核心部分,承載主要的概念表達──「化妝」。

1
Photo Credit: 徐嘉慧提供(政治大學中文口語語料庫檔案編號NCCU-TM020-CN-FM)
「化妝」語意三個階段的手勢分析。

說到這裡,徐嘉慧問:「如果手勢和語言想要表達一個概念,誰會先開始動作呢?」答案出乎意料之外,我們以為是「脫口而出」、「心直口快」,但其實是手勢會先發制「言」,手勢通常比語言更早驅動。早在女學生說出「化妝」二字的前一秒,她的手就已經開始準備摀臉。

手勢的有趣不僅如此,徐嘉慧說:「光看手勢,你根本不知她在表達什麼。但一加上語言,就完全明白了。」單純摀臉的動作,也可能是害羞或哭泣,但在這個例子中,因為與語言相互搭配,共同傳達了「化妝」的語意。更重要的是,手勢補充了語言沒有「明說」的內容。

女學生只說「每天都會化妝」,並沒有仔細描述化妝的動作與方式。但她用手摀住全臉的範圍,表現這些人並不只是化眉毛、眼線等局部,也不是輕描淡寫,而是全臉都有化妝,而且化得很仔細。

「換句話說,手勢更能表達你的mind(心智),可以即時表現你關注的焦點,還有你對這個概念的理解,也代表比較主觀的面向」。就像這個例子,沒有被女學生說出來的化妝「方式」,藉由她的手勢很自然地表現出來。

1
繪圖:Chloe Liao
語言與手勢兩者協力,各司其職,共同表達一個概念。

左右「過去」和「未來」的手勢

語言與手勢的「黏」還不只如此。

語言會透過隱喻(metaphor),將抽象概念用具體事物來表達,舉例來說, the day “before” yesterday就是用「空間方位」表示「時間順序」,「隱喻型」(metaphorical gesture)手勢也有這樣的功能。

說到以空間表現時間的例子,徐嘉慧提到一個有趣的現象。那就是雖然在英語中不會用「左右」來表達時間,英語使用者卻會以左右的手勢表達時序,形成語言沒說左右,手勢卻比左右的情形,再次印證語言和手勢是不同的系統,但共同表意。

問題來了:究竟「過去」的手勢,應該在左邊還是右邊呢?

徐嘉慧說,這取決於說話者的文化與母語,以英語、法語為母語的人會傾向把「過去」的手勢比在身體的左側;使用希伯來語、阿拉伯語人,多會把過去比在右側,「至於中文很特別,是亦左亦右!」

徐嘉慧推測,這或許和不同語言的書寫系統有關係,英語的書寫及閱讀方式是由左至右;希伯來語、阿拉伯語則是由右至左,文化經驗影響了人們的認知與手勢的表達。至於中文,既可以由右到左,也可以由右到左,甚至可以直書和橫書,所以才會如此與眾不同。

1
Photo Credit: 汪正翔
手勢的「產生」與「理解」都是徐嘉慧關注的焦點。

剛開始研究手勢時,徐嘉慧曾在電視上看到一位外國人說:「請他來」。明明講的是「來」,但他的手卻是由內向外比,像是「去」的手勢。徐嘉慧心想,難道是他比錯了嗎?後來仔細思考,她推測說話者的語言觀點是以「自己」為中心。但比手勢時,卻以對方為中心,換了一個完全不同的觀點與視角,才會發生語言與手勢相反的狀況。

這個例子再度證明語言與手勢分屬不同系統,甚至可以同時表達不同的認知與視角。徐嘉慧也好奇,當認知想要表達概念時,是如何分派工作給語言和手勢呢?有沒有一個產生語言和手勢的認知模型呢?「到現在我還是不知道,還要再繼續整理,一定要看得夠多,才能看到系統性」。

從一小點,到更為全面

手勢研究是一門跨學科、跨語言、跨文化的學問,徐嘉慧總是大膽拋出問題,再設法透過實證解答。

「語言學家主要還是研究口語,很少關注手勢這種非語言行為(non-verbal behavior)的內容」。至於研究手勢較多的心理學,將手勢視為溝通、認知的一部份,較關注大方向的表現,「例如手勢和語言的搭配是相同,還是不同?他們著重於概念」,徐嘉慧分析:「但我們更關注差異,看得更細、更多一些,例如語言的名詞、動詞如何與手勢互動?」

1
Photo Credit: 汪正翔
徐嘉慧介紹政治大學中文口語語料庫。

徐嘉慧的手勢研究,從語言、手勢的「產生」(production)到「理解」(comprehension),構成「語言、手勢與多管道溝通」(language, gesture and multimodal communication)的研究圖像。她說:「『產生』和『理解』都應該研究,但問的問題和研究方法是不同的。」

前面提到化妝、以空間方位表達時間的例子,都是探討語言與手勢的「產生」,關注說話者產出語言及手勢時的表現。目前徐嘉慧使用的腦電波儀器,還無法在受試者說話的同時掃描腦波,只能透過收集日常情境的溝通語料,分析說話者的語言和手勢如何表達。

至於語言與手勢的「理解」,則是關注聽話者如何解讀語言和手勢,這部分的研究就能與腦神經科學結合,藉由功能性磁振造影(functional Magnetic Resonance Imaging,簡稱為fMRI)、事件相關電位(Event-Related Potential,簡稱為ERP)等方式,實際測量聽話者在理解語言、手勢時的腦區與腦電波,並進一步分析。

研究是條漫漫長路,有時突破也需要仰賴科技進展,徐嘉慧樂觀看待。她笑說,以前可是連分析影片都要用錄影帶慢速播放,「我們念書的時候是連問這些問題的機會都沒有,所以是進步了,現在的技術限制,我相信以後一定有機會突破的。」

近年來手勢研究越來越受到重視,除了語言學和心理學,徐嘉慧也持續關注認知、腦神經等領域的研究進展。最近,她也開始思考手勢研究與甲骨文、語言治療的連結,「我想知道不同的學科在研究方法和議題上有什麼新的突破」。

身為台灣手勢研究的先行者,徐嘉慧還在探尋新的可能性,「我做手勢做了二十年,才懂了一點點。只看單一領域的研究是不夠的,結合其他學科才能夠看得更清楚。」

研究來源

  1. 徐嘉慧(2011-2014)。隱喻概念與手勢。科技部專題研究計畫(優秀年輕學者研究計畫)。
  2. 徐嘉慧(2014-2017)。認知框架與手勢。科技部專題研究計畫(一般研究計畫)。
  3. 徐嘉慧(2017-2019)。語言、手勢與語境化。科技部專題研究計畫(一般研究計畫)。

本文經人文.島嶼授權刊登,原文刊載於此
原標題:「過去」在左邊,還是「未來」在左邊?政大徐嘉慧:開不了口的,讓手勢幫你說!

延伸閱讀

責任編輯:游家權
核稿編輯:翁世航


Tags: