臺北科技大學應用英文系教授林彥良探究如何透過手勢來強化外語教學。
攝影／林俊孝
異國旅客語言不通，靠著比手畫腳也能打天下；臺上演講的政治人物慷慨激昂，高舉雙手，引發群眾歡騰；電影《惡棍特工》的小酒館裡，一名英國間諜偽裝納粹軍官，卻因為比錯了「三」的德國手勢，頓時陷入身分曝光的危險。
為什麼人類就是無法在說話時停下雙手？手勢（gesture）究竟有何意義或功能？手勢跟「語言」之間，又有怎樣千絲萬縷的關係？
「說話時一邊搭配手勢，是很自然的事情，講外語的時候尤其如此。」臺北科技大學應用英文系教授林彥良的右手從桌面微微抬起，掌心翻轉向上，隨著發語節奏起伏，「但手勢可不只是伴隨語言的附屬品，更具有補足語意、輔助思考、提升互動流暢性等豐富功能。在外語教學上，教師如果能善用手勢引導，還可以提升學生的學習成效與記憶力！」
不止是口語的陪襯：手勢的語用功能
說話是為了傳達意義，在這一點上，手勢和語言可說是相輔相成的關係，甚至在某些情境，手勢更有無可取代的必要性。林彥良指出，從語用學的觀點來看，手勢在人類語言溝通中能夠發揮多樣化的語用功能（pragmatic function），幫助說話者表達單憑語言文字所無法表達的意義。
手勢不只能強化語意，還能補充、補足語言本身難以傳達的意涵，甚至還有話中有話藏在其中。
圖片來源／維基百科
舉例來說，手勢有強化（reinforce）語意的功能：如果你要強調一個人跑得很快，只需快速擺動手臂、模擬高速衝刺的姿態，通常便足以使聽者心領神會，不必非得想出個漂亮的詞語才能表達。另一方面，手勢也能補充（supplement）、補足（complement）語言本身較難傳達的意涵，例如：直接用雙手比出一塊「大蛋糕」的尺寸，或者伸手為觀光客指出車站的方向，都比「這塊蛋糕直徑幾公分」、「臺北車站在7點鐘方向」還要更能容易且準確地完成溝通。
由於手勢能提供具體的空間與視覺線索，在表達方向、移動、數量、形狀與大小等概念時，反而勝過看似客觀精確的語言文字。這種現象在跨文化英語溝通中也呈現出明顯的共通性。林彥良分析近50位國際學生在互動中語言與手勢的搭配情形後發現，即使文化與語言背景不同，說話者在運用手勢輔助表意時，整體偏好仍高度相似。
「更有趣的是，有些時候，手勢還能傳達出『話中有話』、『弦外之音』，甚至於『翻轉』、『顛覆』口中言語的意義。」比如說，一位員工在模仿主管講話時「兩手一攤」，即可知道背後有著挖苦、諷刺、又帶一絲無奈的意涵，如果再搭配「引號手勢」（air quotes），代表他在強調自己特別不認同「引號」框住的內容（我們公司就像一個 “ 大家庭 ” …）。在這些情況下，手勢絕對是解讀說話者態度的寶貴資訊，而非語言的附屬。
握拳、比劃、摸摸下巴：手勢可以「輔助思考」
林彥良實驗發現，手勢已成為人類思考、溝通的要素，當受到侷限，將阻礙整體表達。
圖片來源／unsplash
手勢有用、有意義，甚至「有必要」。如果一個人被迫無法使用手勢，會發生什麼事？林彥良進行實驗發現，一旦如此，人原本能講的話便可能卡住而講不出口。
這場實驗邀請了兩組大學生，在聽完複雜程度不同的故事後，以英文用自己的話重新敘述一遍，其中一組學生被特別要求在重述故事時盡量不要移動雙手。結果發現，這組學生不僅表達較為「卡頓」，所重述的故事也遺漏較多細節。
「人在說話時經常不自覺地移動雙手，尤其在回想細節、組織內容，或者出現『舌尖效應』突然想不出要講的詞彙時，我們可能會搖晃自己的手、捏住下巴、摸摸後腦杓……等等。這些看似瑣碎的小動作，其實都在發揮自我引導、輔助思考的功能。」換言之，手勢的重要性不只是因為它讓表達更生動，更在於它往往參與了說話者的思考過程，一旦受到侷限，就可能會阻礙整體表達。
現在輪到誰？手勢在互動中促進「話輪轉換」
林彥良指出，手勢在人際互動中也扮演不容忽視的角色。每個人應該都經歷過「插嘴」、「被搶話」、「一片沉默」的尷尬場面，無論在雙人或多人互動情境，「輪到誰說話」，即所謂「話輪轉換（turn taking）」，都是決定溝通流暢性的關鍵。
在很有默契的情況下，你可以根據表情、聲調、說話習慣等各種線索來判斷好友是否已講完想講的話，語聲一落便隨即接上，兩人的發話回合之間相隔可能不到半秒鐘。然而在其他多數情況，人往往仰賴外顯的「手勢」來決定話輪的切換。
「從話論的開始、中途到結束，手勢都能夠發揮作用。」
相較於母語，人在進行外語溝通時更需仰賴手勢等非語言訊號，因此手勢的效果在外語互動中特別明顯。
林彥良分析亞洲英語學習者語料庫（International Corpus Network of Asian Learners of English, ICNALE）近百個模擬情境下的英語對話影片，發現使用比較多話輪有關手勢的對話組合會有更佳的互動流暢性，而在使用較少手勢的對話組合中，雙方話輪之間則會出現更長時間的停頓（pause）。英語程度也會有影響，程度較佳的學習者，整體上使用較多和話輪管理有關的手勢，特別是在維持自己的話語及強化重點時更明顯。這顯示了手勢確實能夠透露更多語言以外的訊息，也可能是外語互動中協調節奏、降低尷尬的重要線索。
「動手」教外語：英語教學中的手勢如何提升記憶
林彥良近年的研究主軸，延伸至教室內的教學手勢如何影響學生的第二語言（英語）習得：「由於手勢能將部分語言內容轉化為較具體的視覺表徵，理論上應該有助於外語學習，但我們想問的，不只是教師能否透過手勢幫助學生把外語學得更好，重點更在於『使用什麼手勢』。」
林彥良進行了一個課室情境的英語教學實驗，將學生分在不同類型手勢的組別，聆聽英語教師講述同一個故事。接著，學生聽完故事後後趁記憶猶新，趕緊重述故事並錄製成音檔，由研究者編碼、分析他們的重述內容包含多少關鍵資訊量，作為英語學習的記憶分數，偵測學生們把故事「聽進」了多少。
林彥良透過實驗發現，「圖像手勢」和「指向手勢」有助於提升學生對故事的記憶完整度，同時也能記得更久。
圖片來源／unsplash
三個實驗組中，教師各自使用一種手勢：包括具體指涉故事當中人事物的圖像手勢（iconic gestures），例如講到『小鳥』就以雙手模擬拍拍翅膀、講到『大森林』就展開雙手來表達。其次，在談及方向、移動或位置以及指向特定人事物時，使用指向手勢（deictic gestures）。第三個則是伴隨口語韻律，並在關鍵處做出較大動作的節奏手勢（beat gestures）。
結果發現，跟不使用手勢的控制組相比，「圖像手勢」和「指向手勢」更有助於提升學生對故事的記憶完整度，研究追蹤發現，這樣的效果甚至能維持到數個星期後。這也意味著，手勢不只幫助當下理解，還可能讓資訊在長期記憶中保留得更久。尤其在較高認知需求的複雜任務中的影響更為明顯，甚至可能補償較低工作記憶容量帶來的負擔。
整合語言與學科的學習：手勢作為一種「模態」
林彥良指出，除了手勢，老師講課時的音調起伏，以及教室空間中的移動、視覺化的引導和體驗活動的運用等「多模態」的情境，都有助於語言與學科的理解、學習。
攝影／林俊孝
為什麼手勢有助於第二語言學習？林彥良解釋，手勢本身就是一種模態（modality），不同於「語言」的理解往往必須依賴聽覺感官與抽象思維，手勢能以具象、空間、視覺化的形式呈現資訊，幫助學生從多元的感官接收內容，建立語言與概念之間的連結，並在一定程度上降低學習時的認知負荷。事實上，手勢本來就是人類語言表達裡自然的一部分──人的語言溝通原本便是「多模態（multimodal）」的情境──如果刻意去除，反而才是奇怪的事。
在2030雙語政策推動下，臺灣校園中EMI（English as a Medium of Instruction）英語授課的課程日益普遍，因為要透過英語學習、講授學科專業內容，對於向來慣用母語的學習者或教學者而言，都構成挑戰。林彥良針對臺北科技大學校內EMI授課課程，超過700份修課學生的問卷及課堂觀察資料進行分析，發現只要教師採取了多模態資源輔助的教學，學生的課堂學習投入與理解程度都會比較高。「除了手勢以外，教師講課的音調起伏、在教室空間中的位置與移動、視覺化與結構化引導、圖像影音資源以及體驗活動的運用，都是在打造多模態的學習環境，有助於語言與學科的理解和學習。」
林彥良點出，所謂多模態環境，或輔助外語學習的教學手勢，其實並不複雜：「EMI課程最常碰到的問題，常是學生因語言阻礙而跟不上授課內容。所以，教師光是願意伸出手『指簡報』，告訴學生現在講到哪裡，再搭配適當口語停頓與視覺提示，就可能大幅降低理解負擔。」
在AI大型語言模型當道，我們也已漸漸習慣視訊會議的後疫情時代，為什麼人還需要「面對面」的實體互動？手勢及身體語言對溝通、學習的豐富助益，是個可能的答案。下次與人交談時，不妨也試著觀察對方的手勢，甚至觀察自己，一起動手思考、動手對話！
採訪撰稿／林義宏
編輯／林俊孝
攝影／林俊孝、W. Xiang
本著作由人文·島嶼著作，以創用CC 姓名標示–非商業性–禁止改作 4.0 國際 授權條款釋出。