「過去」在左邊，還是「未來」在左邊？政大徐嘉慧：開不了口的，讓手勢幫你說！

研究手勢（gesture）的專家──政治大學英國語文學系徐嘉慧教授在採訪一開始，就笑著安撫我們：「講話時手放輕鬆！反正迴避得了一時，迴避不了一世。」

手勢，是再自然不過的溝通方式，我們根本不需要刻意思考怎麼擺弄，雙手就自然而然動了起來。所以徐嘉慧說：「我們可以不點頭、不做表情，但好像真的不能不做手勢，只是多少的問題。」無論是宣傳電影的明星、感性催票的政治人物，或是朋友家人間的閒聊，永遠停不下來的「手勢」，絕對是跨文化、跨語言的共通點之一。

徐嘉慧形容，手勢像一個連續的光譜，一端是約定俗成，具有明確意義的象徵型手勢，另一端是沒有明確意義，看似隨意比劃的手勢。
攝影／汪正翔

「不清不楚」的手勢才有趣！

手勢究竟是什麼？

大家第一個想到的，可能是常見的?（OK）、?（讚）、 ✌（勝利）。沒錯！這些都是透過變換手的形態來呈現特定且明確的意義，基本上說話的人不需要解釋，對方看一眼就能理解。這類大家最熟知且約定俗成的手勢，稱為「象徵型」（emblem）手勢。

但平常說話時，我們更常用的其實是沒有明確意義，看似隨意比劃的手勢。徐嘉慧對這些沒有固定形式的手勢特別有興趣，「就是不清不楚才有趣嘛！」，徐嘉慧說，「這些不清不楚的手勢就是告訴我們，它如何『黏』著語言，不是語言說什麼，它就比什麼，而是兩者共同表達一個概念」。

日常溝通基本上是「多模態」（multimodality）的方式，除了口語，同時加入手勢、表情、身體姿勢等不同模態來傳達意思。很多人會以為手勢只是語言的「附屬品」，但根據徐嘉慧的研究，「手勢並不是附屬於語言，它和語言分屬不同系統，但它們會『共同表意』」。

因此，手勢也是表現認知重要的一環。徐嘉慧解釋，就像是分派任務一樣，當我們想要表達一個概念時，一部分的資訊會分派給語言，一部分的資訊會由手勢負責傳遞。

手勢──先發制「言」！

語言和手勢到底要如何分別傳遞不同的資訊呢？

徐嘉慧用「政治大學中文口語語料庫」中一段男女學生聊天的影片解釋。影片中，女學生告訴男學生：有一群女生，「每天都會化妝」。當她提出「化妝」二字時，同時做了一個「摀臉」的動作。這個不到三秒鐘的動作，卻完整呈現了手勢的三個階段：

1. 準備階段（preparation）：以兩手蓋住全臉。
2. 主要階段（stroke）：向臉的兩側打開雙手。
3. 收回階段（retraction）：雙手回到原本的位置。

其中，又以「主要階段」最為關鍵，是每個手勢必然擁有的核心部分，承載主要的概念表達──「化妝」。

「化妝」語意三個階段的手勢分析。
圖片來源／徐嘉慧提供（政治大學中文口語語料庫檔案編號NCCU-TM020-CN-FM）

說到這裡，徐嘉慧問：「如果手勢和語言想要表達一個概念，誰會先開始動作呢？」答案出乎意料之外，我們以為是「脫口而出」、「心直口快」，但其實是手勢會先發制「言」，手勢通常比語言更早驅動！早在女學生說出「化妝」二字的前一秒，她的手就已經開始準備摀臉。

手勢的有趣不僅如此，徐嘉慧說，「光看手勢，你根本不知她在表達什麼；但一加上語言，就完全明白了」。單純摀臉的動作，也可能是害羞或哭泣，但在這個例子中，因為與語言相互搭配，共同傳達了「化妝」的語意。更重要的是，手勢補充了語言沒有「明說」的內容。

女學生只說「每天都會化妝」，並沒有仔細描述化妝的動作與方式；但她用手摀住全臉的範圍，表現這些人並不只是化眉毛、眼線等局部，也不是輕描淡寫，而是全臉都有化妝，而且化得很仔細。

「換句話說，手勢更能表達你的mind（心智），可以即時表現你關注的焦點，還有你對這個概念的理解，也代表比較主觀的面向」。就像這個例子，沒有被女學生說出來的化妝「方式」，藉由她的手勢很自然地表現出來。

語言與手勢兩者協力，各司其職，共同表達一個概念。
繪圖／Chloe Liao

左右「過去」和「未來」的手勢

語言與手勢的「黏」還不只如此。

語言會透過隱喻（metaphor），將抽象概念用具體事物來表達，舉例來說， the day “before” yesterday就是用「空間方位」表示「時間順序」，「隱喻型」（metaphorical gesture）手勢也有這樣的功能。

說到以空間表現時間的例子，徐嘉慧提到一個有趣的現象。那就是雖然在英語中不會用「左右」來表達時間，英語使用者卻會以左右的手勢表達時序，形成語言沒說左右，手勢卻比左右的情形，再次印證語言和手勢是不同的系統，但共同表意。

問題來了！究竟「過去」的手勢，應該在左邊，還是右邊呢？

徐嘉慧說，這取決於說話者的文化與母語，以英語、法語為母語的人會傾向把「過去」的手勢比在身體的左側；使用希伯來語、阿拉伯語人，多會把過去比在右側，「至於中文很特別喔！是亦左亦右！」

徐嘉慧推測，這或許和不同語言的書寫系統有關係，英語的書寫及閱讀方式是由左至右；希伯來語、阿拉伯語則是由右至左，文化經驗影響了人們的認知與手勢的表達。至於中文，既可以由右到左，也可以由右到左，甚至可以直書和橫書，所以才會如此與眾不同呀！

手勢的「產生」與「理解」都是徐嘉慧關注的焦點。
攝影／汪正翔

剛開始研究手勢時，徐嘉慧曾在電視上看到一位外國人說：「請他來」。明明講的是「來」，但他的手卻是由內向外比，像是「去」的手勢。徐嘉慧心想，難道是他比錯了嗎？後來仔細思考，她推測說話者的語言觀點是以「自己」為中心；但比手勢時，卻以對方為中心，換了一個完全不同的觀點與視角，才會發生語言與手勢相反的狀況。

這個例子再度證明語言與手勢分屬不同系統，甚至可以同時表達不同的認知與視角。徐嘉慧也好奇，當認知想要表達概念時，是如何分派工作給語言和手勢呢？有沒有一個產生語言和手勢的認知模型呢？「到現在我還是不知道，還要再繼續整理，一定要看得夠多，才能看到系統性」。

從一小點，到更為全面

手勢研究，是一門跨學科、跨語言、跨文化的學問，徐嘉慧總是大膽拋出問題，再設法透過實證解答。

「語言學家主要還是研究口語，很少關注手勢這種非語言行為（non-verbal behavior）的內容」。至於研究手勢較多的心理學，將手勢視為溝通、認知的一部份，較關注大方向的表現，「例如手勢和語言的搭配是相同，還是不同？他們著重於概念」，徐嘉慧分析，「但我們更關注差異，看得更細、更多一些，例如語言的名詞、動詞如何與手勢互動？」

徐嘉慧介紹政治大學中文口語語料庫。
攝影／汪正翔

徐嘉慧的手勢研究，從語言、手勢的「產生」（production）到「理解」（comprehension），構成「語言、手勢與多管道溝通」（language, gesture and multimodal communication）的研究圖像。她說：「『產生』和『理解』都應該研究，但問的問題和研究方法是不同的。」

前面提到化妝、以空間方位表達時間的例子，都是探討語言與手勢的「產生」，關注說話者產出語言及手勢時的表現。目前徐嘉慧使用的腦電波儀器，還無法在受試者說話的同時掃描腦波，只能透過收集日常情境的溝通語料，分析說話者的語言和手勢如何表達。

至於語言與手勢的「理解」，則是關注聽話者如何解讀語言和手勢，這部分的研究就能與腦神經科學結合，藉由功能性磁振造影（functional Magnetic Resonance Imaging，簡稱為fMRI）、事件相關電位（Event-Related Potential，簡稱為ERP）等方式，實際測量聽話者在理解語言、手勢時的腦區與腦電波，並進一步分析。

圖片來源／徐嘉慧提供

研究是條漫漫長路，有時突破也需要仰賴科技進展，徐嘉慧樂觀看待。她笑說，以前可是連分析影片都要用錄影帶慢速播放，「我們念書的時候是連問這些問題的機會都沒有，所以是進步了，現在的技術限制，我相信以後一定有機會突破的！」

近年來手勢研究越來越受到重視，除了語言學和心理學，徐嘉慧也持續關注認知、腦神經等領域的研究進展。最近，她也開始思考手勢研究與甲骨文、語言治療的連結，「我想知道不同的學科在研究方法和議題上有什麼新的突破」。

身為臺灣手勢研究的先行者，徐嘉慧還在探尋新的可能性，「我做手勢做了二十年，才懂了一點點。只看單一領域的研究是不夠的，結合其他學科才能夠看得更清楚啊！」

採訪撰稿／許逸如
攝影／汪正翔
編輯／黃詩茹