你可曾想像過,藉由虛擬實境裝置(Virtual Reality,縮寫VR)技術,不但可以體驗我們沒有機會觸碰到的藝術、人文,甚至可以觸摸到被遺忘的劃時空記憶或許多未曾看過的場景。
早在4、5年前,國立陽明交通大學應用藝術研究所教授許峻誠,就已展開了加入觸覺機制的VR科技研究,試圖讓新科技更符合人性需求,不但可以進入古畫,如〈畫元世祖出獵圖〉的實境裡,還能將過去的事件、記憶場景化,協助懷舊治療,對失智症患者進行有效的身心刺激,以延緩其症狀。
同時,他也藉由VR重現了掌中戲(布袋戲)的操偶,並結合舞者的肢體動作演出,促使科技藝術並行不悖。許峻誠說:「我並不覺得,VR普及是遙遠的事情,這幾年間就可能像手機一樣,在日常生活裡隨處可見的新穎互動裝置。」
以VR傳承布袋戲技藝
在這兩年間,由許峻誠擔任總主持人的「未來布袋戲」計畫,相繼在高雄市立美術館《擴散耦》(Diffusion Couple of Art and Technology)以及未來科技館展覽。除了結合IoTtalk物聯網技術與機械手臂,更讓舞者戴上VR裝置,在四面牆的虛擬實境投影中,透過布袋戲操偶手勢與肢體動作,共同創作出傳統與現代交融的藝術作品。
談到這樣的融合,許峻誠表示:「當傳統技藝與現代生活漸行漸遠,我們不得不反思,科技能否成為連接這一斷層的橋樑?如果科技已成為現代生活不可或缺的一部分,是否可以借助其力量,讓新世代重新接觸並體驗傳統布袋戲所帶來的樂趣,從而促使其文化精髓得以延續?我們訪談多位布袋戲操偶師,將生、旦、淨、丑、雜五種角色的操作手勢數位化,融入虛擬實境。透過科技的輔助,即使對傳統技藝陌生的年輕人,只要戴上VR裝置,藉由模仿這些手勢,就能輕鬆操控虛擬戲偶。例如豎起手指向上,虛擬戲偶就會翻轉騰空。」
許峻誠及其團隊成果「未來偶戲劇場:基於多螢互動之沉浸式多人即時操偶系統」獲2024年未來科技獎。
影片來源/〈未來科技館 FUTEX – Future Tech〉youtube
這還只是第一步,未來布袋戲團隊的成員裡也有舞者,就設計了一套舞蹈,配戴VR裝置,以肢體與虛擬戲偶展開傳統和現代交融的可能性。這顯然是科技與藝術的奇妙共舞,更是虛(虛擬影像)實(實際人體動作)跨域的最佳體現。許峻誠強調:「我們做的不止是布袋戲的再現,而是想要把傳統布袋戲的系統、脈絡呈現出來。傳統師傅、布袋戲工作者的技藝是無可取代的,但我們思考的是如何以科技轉譯這些技術,讓新世代也能夠看見並關心。所以,我們的演出把使用VR操控虛擬戲偶的舞者的視野,投放到Cave沉浸式空間裡的牆上,讓觀眾也可以同步看到她所見的世界。布袋戲的美,在於它以最簡潔的形式呈現最豐富的敘事;它的生命力,在於每一位操偶者透過肢體語言構築的角色靈魂。我們的目標不在於傳授精深的布袋戲技巧,而是讓體驗者通過簡單直觀的互動,感受到布袋戲超越時代的情感共鳴。」
目前未來布袋戲系列作品已獲國內外獎項之肯定,例如未來科技獎或者美國SXSW藝術節等。此外,許峻誠目前也受美國哈佛大學之邀請進行一年之合作計畫,希望利用此主題向國際呈現多元的台灣文化與科技能量。
「以人為中心」到「非人類中心」的思維
為何會起心動念將科技變為藝術呢?11年前許峻誠前往波士頓麻省理工學院(MIT),接觸到科學、技術、設計與藝術等多門不同學科間的跨領域智識,深受啟發。他強調,這四個領域並非獨立,而應該能有交互影響、密切關係,比如歐洲文藝復興時期為人所知的李奧納多.達文西即是橫跨畫家、科學家、技術人員等多重身分。
「需要先有科學原理,工程師才能夠發展出實際的技術,然後設計才上場,以人為中心,設法解決生活中的問題,思考新技術如何被人們在生活中更方便地使用。如從傳統手機到智慧型手機,就做出了去除按鍵、觸控螢幕等的設計,讓人可以更直覺地滑動。而藝術家則是會帶來更深沉的反思,讓我們去思考這些科技工具究竟是不是好的東西?甚至會超脫以人為中心,而是以動物為中心、地球為中心的思維。」
未來布袋戲計畫側重的並不是過去,而是未來。那是傳統技藝、科技與當代藝術的三重共合。許峻誠所率領的團隊採取總和式的思索與視野,讓逐漸凋零的布袋戲手藝,以嶄新的面目重新煥發在世人眼前。
攝影/許峻誠實驗室
藝術家常會用一些比較強烈的方式,去反思科技對人類未來或宇宙是否有幫助?許峻誠認為,這些創作可能並非完全可以落實在生活裡,但可以帶給人們很好的警惕,讓人們再多想一些,不陷入毫無保留地發展科技的危險局面。
用VR玩轉課本和知識
根據具身認知科學(embodied cognitive science)研究發現,觸覺作為人類與世界連結的重要橋梁,不僅影響心理與情感,還會對思考與決策產生深遠作用。觸覺刺激甚至能引發腦部視覺與聽覺區域的活動,是深入理解事物和建立深層記憶的重要感官機制。
而身處現代都市的我們,已經很難體驗到「彎弓射箭」的感覺了。更遑論當歷史課上講到「胡服騎射」時,若是能夠帶領同學了解為什麼「騎射」和「胡服」是同時發生的?必然可以增添很多課堂樂趣,同時更可以引發學生的興趣。
許峻誠以故宮〈畫元世祖出獵圖〉為靈感,帶領團隊開發了VR作品《漠北秋獵》。在這部作品中,使用者戴上VR裝置後,不僅可以「看到」古畫中的沙漠場景,還能體驗到身臨其境的狩獵感受。透過手持控制器進行拉弓的動作,模擬射箭時的張力與回饋感,甚至搭配模擬騎馬機的震動效果,彷彿真的置身於狩獵場景之中。
「大眾對VR的普遍印象還停留在電玩、影劇的娛樂應用,其實VR已經深入到教育、醫療層面。」許峻誠提及,〈畫元世祖出獵圖〉故事的實境化,不但讓使用者更加身歷其境,也讓教育變得更加生動有趣,吸引了許多對歷史不感興趣的年輕人主動參與。
許峻誠帶領團隊開發了VR作品「漠北秋獵」,不但讓學生得以體驗騎射的感受,更可以察覺到,何以中國先秦時期上衣和下裳相連,將整個身體均包裹在內的「深衣」,不適合騎馬狩獵。反而是較為方便、靈活的「胡服」,於騎術上有益處。
影片來源/〈許峻誠實驗室〉youtube
虛實整合的懷舊治療
許峻誠延伸具身認知科學理論,和醫院合作懷舊治療項目,透過昔日的記憶、美好事物的重現,去增強病患的正面刺激與身心活化。他說:「當一個人心情暴躁或陷入憂傷狀態時,語言上的安慰固然能起到一定作用,但實際的觸覺交流,如拍肩膀或輕擁抱,往往更能傳遞情感,能夠迅速撫平負面情緒。」這正是觸覺無可取代的力量。然而,在過去的虛擬實境(VR)設計中,觸覺往往被忽視,技術應用更集中於視覺和聽覺領域。
疫情期間,失智症患者的治療受到諸多限制,醫療團隊與家屬對此感到束手無策。為解決這一難題,他的團隊與醫療人員合作設計了一系列基於VR的療程,通過重現患者記憶中的場景來刺激正向情緒。
「中華商場早已消失,但對很多失智症長者來說,那是他們記憶中最鮮活的地方之一。」許峻誠分享,他們將這些已不復存在的場景透過VR重建,讓長者能在虛擬世界中重新漫步熟悉的街道,甚至再現當時的攤販吆喝聲與環境氛圍,給予他們強烈的歸屬感與安全感。
此外,針對部分患者,他們還設計了基於野狼機車的模擬器。患者可以握住機車的把手,感受催油門時的動力回饋與馬達運轉噪音,甚至模擬行駛過程中手部與臀部的震動感覺。「根據研究,這些細膩的觸覺刺激能夠有效激活患者的身心活動,不僅喚醒過往記憶,更延緩了失智症的病程。」
這些突破性的研究成果,使許峻誠的作品《爺爺的新舊時光:用觸覺和VR回憶過去》贏得了NEWVIEW國際設計競賽的特別獎,這不僅是對他技術創新的肯定,更展示了觸覺與VR技術結合的巨大潛力。
藉由VR新技術,許峻誠讓科技與藝術共舞。
攝影/汪正翔
展望未來,許峻誠指出,VR技術不僅具備臨場感與沉浸感,其帶來的觸覺模擬還能讓人產生真實的心理與情感反應。他說:「現在我們的重點是觸覺,但未來,包括嗅覺與味覺在內的其他感官模擬,也將進一步提升虛擬實境的真實感。」
雖然目前VR裝置仍存在重量與成本問題,但隨著技術的進步與市場需求的推動,他相信VR將像智慧型手機一樣普及,成為日常生活的一部分。「那時候的VR,不僅僅是遊戲與娛樂的工具,而是一種重新定義現實的新方式。」
採訪撰文/沈眠
攝影/汪正翔
編輯/張傑凱
許峻誠(2022、2023)。未來布袋戲劇場:人機互動、混合實境與操偶美學。國科會專題研究計畫(科技藝術跨域融合與創新研究計畫)。
許峻誠(2024)。虛擬實境與實體媒介之互動體驗:以具身認知與通過設計的研究取徑。國科會專題研究計畫(人文及社會科學研究卓越計畫)。