「如果翻開教科書,都像哈利波特的魔法書一樣,學生遇到情境就能進到裡面學習,那會是什麼樣子呢?」中央大學資訊工程學系教授暨學習科技研究中心主任陳國棟笑著問。

長年投入數位學習研究,他說自己一直有個夢想,就是在有限的教室中打造出無限的數位空間,讓孩子沈浸其中,像在遊樂場一樣快樂地學習。於是,早在元宇宙(metaverse)概念出現之前,陳國棟就將數位實境(digital reality)的技術導入教育現場,實踐數位學習與情境教育的理念。

元宇宙出現後,對未來的數位學習會產生什麼樣的影響?
圖片來源/Pixabay

比超級馬力歐更好玩的事?教室裡的數位實境

「數位學習」是用數位工具輔助學習者,包含運用數位科技創造學習機會與提升學習效果。

陳國棟認為,數位能力已是現代社會的基本能力之一,「像我們需要具備基本的閱讀能力,才能理解政府在疫情期間發出的公告,也需要基本的數位能力,才能在外送平臺點餐和預約接種疫苗」。

經過這些年的推動,他給臺灣校園的數位化程度打了高分。「我們的數位學習之所以會成功,與最初推動老師進行日常教學與行政工作(如出題、教學報告、成績)的數位化密切相關,所以當疫情緊縮時,遠距教學可以推行到位」。

如今,數位學習已融入中小學的創客(maker)教育、「行動學習」與「真實學習」(authentic learning)中。陳國棟表示,「我們希望知識學習和學生周遭的在地脈絡和文化背景產生連結,創造學習的情境,讓孩子置身其中,在裡面運作這些知識,解決他的問題」。

運用數位工具,融會貫通課堂知識,並以系統化思考解決生活問題。
圖片來源/Unsplash

教科書如何創造情境?許多人馬上想到影片欣賞,但陳國棟說,看影片是看著情境學習,而不是在情境中學習。「全面採取情境學習需要師資的培育和實作,但每一課、每個單元都創造情境是比較困難的,用數位的方式來做會相對容易」。

尤其研究指出,戲劇展演的學習方式可廣泛應用於不同科目中,作為課本內容與真實生活間的橋樑,讓學生透過角色扮演的方式進入情境中展演,以親身體驗來學習。因此,陳國棟從「電腦是一個劇場」(computer as a theater)的概念出發,結合數位實境技術,設計出在教室中就能上演的「數位劇場」。

他解釋,數位實境包含「虛擬實境」(Virtual Reality,VR)和「擴增實境」(Augmented Reality,AR)等技術;前者透過穿戴裝置(如VR 眼鏡) 讓使用者進入電腦技術模擬出的立體虛擬空間,後者則能在現實世界中疊加數位資訊與虛擬物件。

例如,史蒂芬・史匹伯導演拍攝的科幻冒險片《一級玩家》(Ready Player One),就是描述VR虛擬實境的超級玩家電影;而讓玩家在大馬路上抓寶可夢而爆紅的《Pokémon Go》手遊,與疫情期間讓人們能夠在家運動的AR健身體感遊戲《Active Arcade》,都是利用手機實現擴增實境,讓真人彷彿走入電玩世界。

運用擴增實境與全球定位系統的手機遊戲。
圖片來源/Unsplash

令人好奇的是,當數位實境遇上教育戲劇,會開啟什麼樣的「孩」課任務呢?

打開行動盒子劇場,前進阿凡達!

有了數位劇場的理念,還需要技術到位支援,早期陳國棟便以機器人或虛擬替身(avatar)代替學生進入數位場景演戲。但他真正想做的,是像電影《阿凡達》那樣,將演員的臉部表情與肢體動作全部「抓」進場景中。只是,電影使用的虛擬攝影技術昂貴,難以在教育現場實現,「直到Kinect出現,學生終於能身臨其境」。

Kinect 是什麽神奇寶貝,能夠產生化虛為實的數位分身?熟悉電玩的人可能都知道, Kinect是微軟公司於2010年為電玩主機Xbox系列所研發的周邊設備,擁有三顆鏡頭的感應器,能偵測玩家的全身體感。

陳國棟解釋,「Kinect 能做到兩件事,首先是不需要綠幕,就能將人物去背,放進數位場景中。再來,它可以用動態影像擷取技術抓出人的骨架,辨識出人物的移動距離、表情肢體,並做出特效化妝、戲服和虛擬道具」。

這樣的方式有什麽優勢呢?陳國棟認為「真實的進入」很重要,「看到自己和看到替身的感覺非常不同。你演得生動有趣,讓大家哈哈大笑,觀眾認為那是你,你也認為那是你」。換句話說,這種置身其境的臨場感與認同感,是隔著螢幕操控虛擬替身無法達到的效果。

親愛的,請到名畫中跳舞

為了讓更多老師有機會使用這套技術,陳國棟將數位戲劇所需的軟硬體設備(筆記型電腦、Kinect 、平板電腦和網路)全部整合進一個行李箱中,變成拉到哪兒演到哪兒的「行動盒子劇場」,他笑說,「我們在一間國小實踐了三年,真的拉著一卡皮箱到每間教室去演」。這項技術也於2017年獲選為科技部「未來科技展」的未來科技突破獎。

運用動態影像擷取技術,學生的影像與肢體動作在螢幕中即時呈現。
圖片來源/陳國棟提供

「行動盒子劇場有個特色,就是老師和學生都可以參與編劇,最常應用在藝術與人文科目,尤其是語文課」。陳國棟認為,戲劇式學習能將文字轉為畫面,讓語言學習變得更有趣,「特別是故事型的課文,學生會自己去切場景、抓人物,還會控制情節高低起伏,演完之後再去寫作文,就可以寫得落落長,感想特別多」。

當這卡皮箱拉進教室,第一線教師們的無窮創意讓他直呼超出想像。「有位美術老師將名畫做成背景,讓學生進去表演。像孟克的《吶喊》,將畫中主角的臉拿掉,換學生進去吶喊。還有竇加畫了一系列跳芭蕾舞的女孩,老師就讓孩子進入畫中跳舞,創意十足」。

數位戲劇結合傳統戲劇表演和現代電影放映,也很適合進行跨領域教學。「有的老師將電腦課、藝術課和語文課結合,電腦課畫戲劇場景,語文課上《小王子》,藝術課學表演和設計戲服、道具。期末每一組上臺表演,呈現整體的學習成果」。

此外,數位劇場還能協助技職能力的養成,例如陳國棟曾和健行科技大學餐飲系合作,打造「餐旅日語學習數位劇場」。模擬餐廳的真實情境,讓學生練習日語對話與桌邊服務,「學生實際演練怎麼講歡迎光臨、鞠躬的角度、上餐的方式,系統再透過即時影像,判別語調是否合適、服務是否到位」。這些內容用口頭教學,學生未必能體會,但藉由數位劇場模擬,學生覺得有趣,練習更投入。

導入數位劇場的概念,餐飲系學生透過「餐旅日語學習數位劇場」,練習日語對話與服務禮儀。
圖片來源/陳國棟提供

除了將課本中的知識情境化,陳國棟認為數位劇場還能進一步培養學生的責任感與協作能力。「戲劇需要團隊分工合作,組員會互相依賴,彼此間有責任感,比如演英文話劇,會的人要去教不會的人,而不太會講的同學為了不辜負大家,也會努力練習」。

虛擬同窗?遠距下課?後疫情時代的數位學習

疫情期間,遠距教學逐漸成為新常態,陳國棟也觀察到其中的隱憂。「現在的遠距教學幾乎只看老師講課,學生不喜歡開啟攝影機和麥克風,人與人的互動變少了」,他語重心長地說,「當你把攝影機、麥克風都關掉,感覺上也把學習的責任關掉」。

陳國棟指出,消失中的班級經營與同窗情誼是值得關注的問題。「過去在校園中,同學大多是在小組活動和下課時間進行交流,現在遠距教學連『教室』都沒有,『下課』就更不用說了」。

近期他開始思考,數位劇場有沒有辦法改善這些問題?能不能將「教室」做成戲劇式的數位場景,讓師生進來互動,讓遠距也有下課時間?尤其數位劇場強調「走進場景」,彼此的攝影機和麥克風都必須開啟才能互動。當孩子們進入虛擬操場、走廊、合作社等情境,擁有交流玩耍的遠距下課便指日可待。

當遠距教學成為新常態,同窗情誼如何維繫也成為議題。
圖片來源/Unsplash

數位科技發展勢不可擋,作為國內數位劇場研究的先驅,陳國棟期待在數位劇場的技術上繼續突破,「我現在就是持續做到它真實可普及的那一天,大家都拿去用,這就是願景」。未來在數位技術的持續加值下,教學不再囿限於黑板、講臺所形成的物理空間,孩子們的學習方式更加情境化、遊戲化與智能化,虛實合一的學習空間將無限展開。打開課本就能進入哈利波特和超級馬力歐的世界,將不再是夢想。

中央大學資訊工程學系教授暨學習科技研究中心主任陳國棟(左上一)。
圖片來源/陳國棟提供

 

採訪撰稿/翁筠婷
編輯/黃詩茹

研究來源
陳國棟(2015-2016)。建置配合教科書之情境教材與學習展演劇場。科技部專題研究計畫(產學合作研究計畫-應用型)。
陳國棟(2017-2020)。教室內數位戲劇與數位戲劇學習模式。科技部專題研究計畫(一般研究計畫)。
陳國棟(2018-2021)。以數位學習劇場智慧教室為模式之學習者全時參與的情境式與體驗式學習環境。科技部專題研究計畫(一般研究計畫)。
陳國棟(2020-2023)。真人演員之數位劇服化妝道具與具身辨識學習評量的數位劇場與學習模式。科技部專題研究計畫(一般研究計畫)。