大腦不會說謊──神經語言學家為你解開「形」與「音」的量子糾纏

「大腦不會說謊」,讀這幾個字時,你的腦海會浮出這六個字的語音嗎?點餐時,當你說出「一份炒麵」,腦中會不會浮現「炒麵」的對應文字呢?「語音」和「文字」之間到底存在什麼樣錯綜複雜的關係,始終讓科學家爭論不休。

相較於英語、德語這類文字即表示讀音的「拼音型文字」,漢字被稱為「表意文字」。由於幾乎每個字就代表一個音節、一個語義,加上書寫困難,讓它常被戲稱為「世界上最難學的文字」。另外,很多初識漢字的外國人,往往以為所有的漢字都是象形字,「字」和「音」沒有關係;也有學者推論漢語學習,只能靠一字一音的方式「硬背」下來。

但真的是這樣嗎?實際上,根據統計,現有的漢字中,象形字僅佔不到10%,更有超過90%是形聲字;大量形聲字的存在,間接證實了漢語的字形與字音似乎有那麼些關係。

身為母語者,大概都聽過「有邊讀邊,沒邊讀中間」,這似乎意味著我們掌握了字形與字音之間的某種關聯,只要看到相同的聲旁,就有機會猜出它的讀音。不過,真的所有的形聲字都能「有邊讀邊」嗎?字形與字音之間到底存在什麼樣的規則?又是如何影響我們的認知呢?

因為好奇漢字字形與字音的關係,以及中文使用者學習漢字的認知歷程,中央研究院語言學研究所研究員李佳穎帶領「大腦與語言實驗室」團隊投入研究,試圖解開「形」與「音」之間的「量子糾纏」。

李佳穎帶領的「大腦與語言實驗室」,透過認知神經科學的腦造影技術,探討大腦與語言處理的關係。
攝影/黃詩茹

有邊讀邊?故事真的沒有那麼簡單!

在進入主題之前,李佳穎先提到:「語言學時常討論語言的形式結構,探究其中的規則或語法,關注的主要是口語,很少談文字;但文字是一種表達語言的符號,文字表徵是為了『解聲音的碼』。」她認為,關於字形和字音的討論,可以區分為「形到音」和「音到形」兩個不同的研究面向。

「形到音」討論文字的聲旁與語音對應的一致性,又稱「形音一致性」(orthography to phonology consistency)。她指著螢幕上的「搖」、「遙」、「瑤」等字,這幾個字擁有同樣的聲旁「䍃」,在現代漢語都能對應到「ㄧㄠˊ」這個讀音,是形音一致性很高的一組形聲字;反之,流、毓、疏雖皆以「㐬」為聲旁,卻分別對應到不同的讀音,因此這組字的聲旁形音一致性較低。

雖然聲旁相同,但以「䍃」為聲旁的這組字,形音一致性較高,以「㐬」為聲旁的形音一致性較低。
原圖/李佳穎提供,圖表美化/鄭喬尹

而「音到形」則從語音出發,討論它能對應的字形。李佳穎說:「漢語很特別,是『同音字密度』(homophone density)很高的語言,再加上古代漢語一個字便能對應多個語義,所以當我們聽到一個漢語的字音時,需要耗費不少的認知歷程來尋找對應的文字。」

有些音對應到的漢字很少,例如「ㄅㄚˇ」只能對應到「把」、「靶」等少數漢字,但也有些音對應到的字非常多,例如「ㄏㄨㄤˊ」就能對應到「凰」、「黃」、「皇」、「璜」等數十個同音字。另一方面,有些語音對應到的字形寫法非常不一致,例如「ㄆㄨˋ」就有以「暴」為聲旁的暴、曝、瀑,和以「甫」為聲旁的舖、鋪。

因為漢字有很多同音字,當遇到同音字較多、或是其對應的字形不一時,就容易造成疑惑,需要經過更多認知歷程釐清。
原圖/李佳穎提供,圖表美化/鄭喬尹

除了以「形到音」和「音到形」爬梳漢語字形與字音的關聯,李佳穎和團隊也耗費心力建置「字詞資料庫」。「我們根據人類共有的統計學習機制,整合漢字聲符、義符等概念,讓使用者可以根據『形音一致性』、『同音字密度』等不同向度來檢索」。

當她輸入「清」字,螢幕上立刻出現一系列具有「青」聲旁部件的字:「靖靜靚菁睛精倩清蜻鯖圊氰情晴請猜」,同時列出它們的讀音、日常使用頻率、表音一致性、同音字密度等不同的向度。

「大腦與語言實驗室」建置的字詞資料庫,可用漢字義旁或聲旁部件進行檢索,李佳穎希望除了提供學術使用,也有機會運用在教育現場。
圖片來源/中央研究院語言學研究所大腦與語言實驗室

斷開形與音的鎖鏈,誠實的大腦做不到

究竟,文字和語音在大腦中是如何運作的呢?

由於中文不是拼音文字,有些研究者認為,閱讀中文字時,可以得到字義,但非必要不會自動連結字音。但李佳穎說:「字形並不是獨立存在的,文字的創造就是為了要記錄口語。即使是中文也不例外。」

她強調,人類的語言經驗皆始於口語,甚至有些語言沒有文字系統,所以文字並不會獨立於口語,習字的過程也是以口語詞彙為媒介,去認識對應口語的視覺符號。因此,一旦學會文字後,即使努力不去聯想字音,大腦仍無法斷開字形與字音的鏈結。

過去也有研究利用行為反應的測量,解析形與音的對應關係,例如請受試者看到文字後做按鍵反應、用問卷做主觀評量或口頭回答問題,這些行為反應通常涵蓋了更高層的認知決策歷程,「我們無法確定某個變項影響的是行動的哪一個認知階段」。

李佳穎說,這也是她投入神經語言學的原因之一,「大腦的活化未必需要仰賴外顯行為,因此能提供更直接的證據,透過科學去解決爭議和差異」。她運用功能性磁振造影(functional Magnetic Resonance Imaging,簡稱fMRI)測量閱讀時大腦活化的區域,也利用事件相關電位(Event-Related Potential,簡稱ERP)觀測受試者在提取字音或字形時的腦波活動。

她笑說:「甚至有時候會故意請受試者不用把字音唸出來,還是可以看到形音對應一制性造成的大腦活化差異」,單純觀察大腦活動,能更直接呈現受試者處理字音、字形的認知歷程,「所以我常說,大腦不會說謊」。

除了探究大腦處理中文形音轉換的神經機制,李佳穎的研究也顯示中文處理仍以左腦為主。
原圖/李佳穎提供,圖表美化/鄭喬尹

實驗發現,當文字與語音的聯繫越有一致性(例如以「䍃」為聲旁的這組字),或是該語音的同音字較少、字形較一致(例如「ㄅㄚˇ」這組字),受試者的反應速度會比較快,大腦活化的強度較小;反之,當語音和文字越不一致、同音字越多,大腦就需要更費力解決爭議,進而引發較強的大腦活動。

李佳穎也說,這個研究也解決了另一個關於中文學習的迷思,「過去很多人都以為漢字是圖像,可能更傾向在右腦處理;但實驗結果顯示,大腦處理漢字時,仍然是以左腦(即大腦主要的語言區域)為主」。

漢語的文字與語音並非兩個獨立系統,而是和其他拼音語言一樣,彼此難以分割。李佳穎說,神經語言學和心理語言學的領域,以英語為主題的研究居多,以漢語為主題的研究仍值得探索,因此從漢語特殊性所得到的研究成果總是讓外國學者又驚又喜。「我覺得『理論』應該是放諸四海皆準,可以被檢驗的,而且跨語言的比較總是很有趣,因為漢語獨特的語言特性,可以更有力地驗證理論」。

幫字找鄰居,玩APP串起形音義

造訪研究室的前幾天,李佳穎與團隊開發的APP遊戲「收割季節」正好上架。我們好奇,語言學者怎麼會想設計遊戲呢?李佳穎說,近年她常受邀到國小、特教系所和醫院演講,也是希望將研究成果運用在教育現場,而這個幫助國小學童學習中文的遊戲就是一步嘗試。

李佳穎與研究團隊研發APP遊戲「收割季節」,藉由「集中識字」的概念,協助小朋友在互動遊戲中學習漢字的部件規則與字音。
圖片來源/中央研究院語言學研究所大腦與語言實驗室

「就像打地鼠一樣,小朋友找到具有相同部件的字後,才能正確打到從地洞鑽出來的兔子」。這個過程除了幫助他們認識字形,每個字出現也會伴隨著發音;透過系統性重複特定語言,就會慢慢建立聲旁與讀音之間的關聯。李佳穎說,初步研究顯示,透過遊戲練習,孩子的識字量和快速唸名表現都有顯著進步。

這個遊戲不僅適用於一般學童,也可以幫助學習障礙的孩子。「這個練習就是讓小朋友『幫字找鄰居』。能用聲旁猜對發音很重要,因為孩子以前就知道這些口語詞彙,只是看到字唸不出來,只要唸出來,他就知道意思,透過口語媒介幫孩子把字形、字音和意義連結起來」。

尤其閱讀障礙的孩子,很難建立連結字音與字形的規則,李佳穎以語言習得的角度解釋:「一般孩子在處理形、音時,大腦語言功能會有單側化的現象,但閱讀障礙的孩子仍是雙側運作。」換句話說,當一般孩子處理語言時,腦部會逐漸往對語言、文字敏感的左腦活動,但閱讀障礙的孩子卻沒有這樣的發展現象。

我們不禁好奇,運用這樣的互動遊戲,可以幫助改善閱讀障礙嗎?李佳穎說:「這個問題有兩個層次。一是閱讀障礙會不會好?我可以先說,不會好。」正當我們面露失望時,她接著說,「所以我們的責任是,透過別的媒介,幫助孩子找到形音對應的規則」。根據fMRI的實驗結果,閱讀障礙的孩子在經過訓練後,腦區活動會越來越接近一般人,尤其左腦會漸漸開始有些活動,所以這些練習仍能幫助他們減少學習上的困難。

走出實驗室,語言學離人真的不遠

長期與第一線教師接觸,李佳穎看到學習障礙在鑑定與服務上的難處,「學習障礙確實是尚未被完全釐清的疾病」。這些孩子常被認為是上課不專心、回家不練習,甚至被誤認為注意力不足過動症(ADHD);鑑定時多依賴主觀評量的量表與以紙筆進行的智力或認知評估測驗,偏偏紙筆考試不利於在形音解碼上遭遇困難的孩童。

她希望這些研究,未來能為語言障礙的診斷指標提出反饋,「語言障礙不只是看表面行為,自閉症也可能有語言發展困難,需要更細緻的區別。這也是為什麼神經語言學應該參與進來,語言學可以在這些地方做連結,其實我們離人真的不遠」。李佳穎說,這些研究和應用其實也給語言學者很大的提醒,「相較於文字,語言學更重視口語,但這些現象都告訴我們,閱讀文字在現今已是不可忽視的語言活動」。

李佳穎說,開發遊戲是拋磚引玉,希望有更多跨領域的合作與應用,一起推進兒童語言學習。
攝影/黃詩茹

回顧這段歷程,李佳穎有很深的感觸,「剛畢業時,我覺得閱讀障礙是我可以拿來對照實驗結果、驗證科學議題的現象」;後來接觸到學校和學生,她發現很多問題無法一刀切割,跨領域間也需要磨合,「如果我用那樣的姿態,要求老師配合我,其實很難找到所謂『乾淨』的實驗對象」。

於是她決定走進現場,了解第一線如何識別個案,「我只是比他們多知道其中的變數,更應該把這些變數納進來,去釐清它們的關係,後來就不再挑個案。我越來越能看見哪些問題是會共病的,以前只專注語言,現在我知道語言表現不可能獨立於其他認知能力」。

源起於一個對於漢字音形知識的好奇,不但獲得了科學上的解答,更將實驗結果轉化可實際應用的工具。李佳穎認為,透過基礎學科與人的串聯,也能讓實驗室的研究生保持更好的學習動機,「他們會覺得這些研究真的有社會意義、有應用價值,而且有迫切性。即使一直計算中文字形字音的對應資料,看起來和社會一點關係都沒有,但內在動機一直都存在,因為我們知道它能做什麼」。

踏出實驗室的路確實難走,但李佳穎隨即笑著說:「可是走久了,就覺得自己比較像有活著。」

採訪撰稿/許逸如
編輯/黃詩茹
攝影/黃詩茹

研究來源
曾郁琳、李佳穎(2012)。國小學童習得中文形音對應一致性的發展性研究。當代教育研究季刊,20(4),45-84。
李佳穎(2015)。聽覺與視覺字彙辨識之同音字密度與字形一致性效應的神經機制。科技部專題研究計畫(一般研究計畫)。
Chen, W.-F., Chao, P.-C., Chang, Y.-N., Hsu, C.-H., & Lee, C.-Y.* (2016). Effects of orthographic consistency and homophone density on Chinese spoken word recognition. Brain and Language, 157-158, 51-62.
Chao, P.-C. Chen, W.-F., & Lee, C.-Y.*(2019). The second-order effect of orthography-to-phonology mapping consistency on Chinese spoken word recognition. Journal of Neurolinguistics, 51, 1-16.