108年度計畫成果報告表

沉浸式體驗技術與應用學程

(一)具體措施、創新作法及自我檢討評估與改善機制

體感科技技術為垮領域技術結合的科技,本學程將體感科技所需用到之場景配樂、機電、電控、投影成像、故事編程…等技術分門別類進行密集式的授課,引導來自各種不同領域的學生,如何在作品中發揮各自專長再融合。本學程師資來自電機系、機電系、光電系、音樂系、劇藝系等系所,教師們已有多次共同執行跨領域計畫之經驗,對於學生的媒合、課程開設,皆有一定的默契。課程內容經過設計組成學程,除學期型必修課外,亦設計主題式的密集課程,讓學生對於專業領域外的課程能有初階的認識。透過專案訓練在學生小組研究目標訂定的過程中,對於組員之間的專業亦能有基礎的概念,知己知彼,實地執行跨域合作。

以沉浸式共學群之必修科目多維度媒體實務課程為例,此一實作導向課程,來自各學院(跨領域)學生於第一次上課開始媒合分組,並訂出研究目標,於學期末由共學群老師及校外體感科技專家評審選出優秀作品,進而推薦投稿至台灣產學策進會每年所舉辦之「放視大賞」。2018~2019課程學生成果作品參賽成果如下,由2018年的3組入圍競賽到2019年共有5組入圍,其中「西灣樂園」進入放視大賞第二階段競賽並代表本共學群參與校內外各項活動,亦獲得本校跨領域工程競賽第二名的佳績。

●學程學生參與放視大賞歷年成績:

2018放視大賞第一階段入圍作品 3組

2019放視大賞第一階段入圍作品 5組

2019放視大賞第二階段入圍作品 1組

1.打打音符

2.體感式射箭

3.抓寶大作戰~動物逃走中

1.電梯幽閉症適應

2.音準練習器

3.高爾夫練習器

4.棒球打擊練習器

5.西灣樂園

    1. 西灣樂園

●執行績效目標、自我檢討、策略及改變

目前沉浸式學程之教師皆由本校其他系所借調,教師們於原系所授課已超鐘點,部分教師皆有升等之壓力,若再增加學程課程並需時常配合辦理相關活動勢必會造成負擔;此外,密集式課程修課人數比起前一年度略少,然而修課學生們對於課程回饋反應良好,為能帶給學生們不一樣的體驗,本學程將於108學年度下學期開始調整課程內容,停開密集式授課課程,將以專業的18周全修課程為主,以減少教師們的授課負擔,並讓學生的學習更全面化。

師資方面仍維持跨領域的組合,仍以電機、音樂、劇藝等系所之專業教師講授課程。另外,本學程長期透過智崴中心與智崴集團合作,智崴中心之多維度體感實驗室預計於109年落成,智崴集團研發之小型動感VR電競平台將會進駐實驗室,屆時搭配多軸動感平台體感控制虛擬實境數位內容設計等兩門新增課程,邀請智崴集團業師講授此2門針對沉浸式體驗VR動感平台所設計動感平台控制以及數位內容開發課程,讓學生在課堂上所學的基礎能立即實現在實務應用上。

●學程課程及師資表

課程名稱

授課

教師

107

修課人數

108

修課人數

說明

調整方案

多維度媒體實務

電機系邱日清

14

11

續開

 

沉浸式體驗概論

光電系

陳俐吟

56

-

停開

師資不足停開,替代課程:創新資訊科技應用(于欽平教授)。

跨領域音樂設計與實作

音樂系

李思嫺

10

6

續開

 

姿態辨識導論

電機系邱日清

11

-

停開

修課人數不足停開,預計109-1新增多軸動感平台體感控制課程,將結合邱日清教授及智崴資訊科技業師共同合授課程。

體感技術導論

電機系邱日清

45

-

停開

感測器與定位

電機系邱日清

8

-

停開

體感運動機構導論

機電系

潘正堂

11

15

停開

 

虛擬實境程式導論

電機系邱日清

40

17

停開

修課人數不足停開,預計109-1新增虛擬實境數位內容設計 ,將結合邱日清教授及智崴資訊科技業師共同合授課程。

虛擬實境導論

電機系邱日清

49

-

停開

情境感受導論

光電系

陳俐吟

38

17

停開

師資不足停開,替代課程:音樂科技概論(林鴻君教授)。

音場技術導論

電機系余祥華

48

20

停開

音樂與音效導論

音樂系

林鴻君

11

-

停開

改由跨領域音樂設計與實作課程及工作坊替代。

故事編程

劇藝系李怡賡

12

-

停開

劇場藝術導論

劇藝系李怡賡

8

 

續開

 

成像技術導論

光電系

林宗賢

49

-

停開

 

●沉浸式跨界合作特色

本學程成立之終旨「讓科技走入生活」,對於長照與老齡化社會等議題,一直都是我們致力研究發展的方向。除了將體感技術應用在遊戲、教育之外,我們也和音樂與高齡照護共學群合作,邀請到榮總何正宇醫師為同學們解說VR/AR在醫學上的應用。此外,今年度沉浸式體驗的課程亦結合大同醫院骨科醫師及復健師的專業建議,在學生的研究主題上,針對骨科病人復健的需求,設計出有趣的體感復健遊戲。學生們透過參訪醫院的復健區,了解病人在復健的過程所需要的條件與外界的刺激,進而設計出體感復健遊戲的基礎模型。

●學生課程、工作坊報告及實作成品

跨領域音樂設計與實作工作坊

跨領域音樂設計與實作工作坊

跨領域音樂設計與實作工作坊

跨領域音樂設計與實作工作坊

跨領域音樂設計與實作工作坊

跨領域音樂設計與實作工作坊

故事編程-各組學生分鏡圖繪製成果

故事編程-各組學生分鏡圖繪製成果

故事編程-各組學生分鏡圖繪製成果

故事編程-各組學生分鏡圖繪製成果

虛擬實境程式導論-課程心得

虛擬實境程式導論-課程心得

(二)亮點特色

 (1)西灣樂園

社會發展迅速,許多老舊建築、風景、文化隨著科技發展而消失,我們想打造一款科技與舊時代結合、所有人都可融入其中的軟體。回到西子灣(中山大學)30年前樣貌,與不同場景物件互動,接觸平常所無法體驗的活動,並了解30年前的風土民情。廟宇鑼鼓聲、海浪拍打聲、樹林間蟲鳴鳥叫,搭配三面環景投影以及現場佈景,彷彿身歷其境。用身體自然手勢控制,擺脫VR頭盔的束縛、減輕眼睛的負擔,是一款老少咸宜的軟體。西灣樂園是一款融合體感分析、視覺影像、音效的跨領域類互動式軟體,藉由軟體中場景的建構,一窺舊時代的西灣樣貌,並體驗燒香拜拜、釣魚、射箭、爬山等等的體感互動。利用Kinect攝影機做為感測器,抓取身體各節點數值,透過電腦程式進行體感分析,並將分析完成的數值傳送至主程式使用;場景方面則使用Unity建構,玩家可透過預設的物件進行有趣的互動。

 市面上的沉浸式體驗大多採用VR頭盔做為互動工具,身體活動受到限制,眼睛也可能過度使用,這些原因都使我們想創造舒適自在的體驗環境,故採三面投影方式來增加環繞度,彷彿眼前的世界從螢幕中活了起來。融合文化風景重現概念,讓長輩也可以透過此場景述說以前的故事,傳承給下一代。本作品場景音效皆為獨立製作,場景地形為西子灣舊時樣貌,十八王公廟的建構讓過去記憶湧現;音效採現場收音而成,搭配現場佈景讓整體環境更加真實。

由於科技發展與都市化,許多文化風景逐漸消失、改變,透過對舊時場景的重建與互動,達到保留文化的功能,並體驗都市所無法涉足的互動。在家中也可以了解到不同時代、不同文化的故事。

校內新聞稿。

https://news.nsysu.edu.tw/p/406-1120-215351,r2910.php?Lang=zh-tw

 

(2)音準練習器

通常練習音準時過程會很枯燥乏味,場地也會受到一定程度的限制,而這個作品就是為了讓練習音準的過程變得更加有趣,加上練習過程是使用歌曲的五線譜,所以練習音準的同時也學會了新的歌曲。

遊戲進行時,根據選擇的難度不同,歌曲的五線譜會有不同數量的目標音符。當音符移動到感測區時,音樂將會撥出相對應的音,如果是目標音符移動到感測區時,玩家必須在目標音符離開之前,發出相對應的音準。玩家每場都有三次出錯的機會,一旦出錯三次遊戲立刻結束。此作品結合了聽覺跟視覺領域,可應用在練習音準的部分,並且在練習同時也會對歌曲更加熟悉。為了要讓玩家可以同時練習歌曲跟音準,所以音符移動的速度、進入感測區的時間,以及停留在感測區的時間都要特別設計,才能與歌曲相互配合。由於練習音準過程變得更加有趣,所以可以讓小孩子從小就培養音樂氣質,也可以讓對音樂有興趣的初心者,更好跨入這個領域。

作品影片介紹: https://www.youtube.com/watch?v=x8KkzLjMaWQ

 

(3) 電梯幽閉症適應

 

 

 

 

 

幫助患有幽閉恐懼症的幼童,培養直接面對恐懼的勇氣,透過不同樓層場景,激發幼童的好奇心,間接忘記身在幽閉空間,久而久之也就不會對密閉空間感到恐懼。

作品簡介:

簡易電梯設計讓幼童能前往不同樓層

不同的樓層場景誘使孩童按電梯按鈕前往

透過 kinect 取身體骨架位置,使用者藉由身體操作

每一層樓層都有通關條件,達成才可以前往下一層

作品橫跨領域:

藝術:設計 3D 模組讓遊戲內容豐富

醫學:對幽閉恐懼的研究,及改善方法

電機:設計程式驅動模組

教育:可以透過遊玩遊戲的方式教導幼童些許生物知識

作品影片介紹:

https://youtu.be/M9XNPqeXiAk?list=UUjW_s1aWk8yIWugJwbVYyag