107年度計畫成果報告表
| 沉浸式體驗技術與應用學程 |
國立中山大學107年度高教深耕教學創新計畫結案報告
學程名稱：沉浸式體驗技術與應用學程、多維度成像微學程、音場技術微學程
- 具體措施、創新作法及自我檢討評估與改善機制
沉浸式體驗技術與應用學程內容涵蓋體感科技所用到的之場景配樂、機電、電控、投影成像、故事編程…等技術，規劃核心學期課程與選修密集式課程，並依據不同專業領域分門別類規劃微學程，含多維度成像微學程、音場技術與情境感受微學程、體感技術微學程、沉浸式體驗應用微學程，課程規劃如下表。
|
|
學程課程涵蓋沉浸式體驗所涵蓋之虛擬實境(軟體技術)、成像(光學)、音場技術(聲學)、情境感受(心理學) 、體感(機械與電機)、姿態辨識(影像偵測與辨識)等關鍵技術開設相關課程，以培養學生之專業知能。中級課程包含「虛擬實境程式導論」、「音樂與音效導論」、「體感機構導論」、「感測器與定位」、「故事編程」、「劇場藝術導論」等六門課，提供更為深入的學理以及應用技術。實務專案課程則為「多維度媒體實務」，以專案式實務訓練的方式結合來自不同領域的學生的專業知能與技術，引導學生養成實務研發能力，同時做為本共學群學習成果的驗收課程。
本學程特別針對來自不同專業領域的學生設計套餐式的微學程，讓學生能在學期內的同一個時段修完三個不同的密集授課課程，完成微學程，並透過經營FB粉絲專頁，讓課程能廣被不同學院的學生認識，鼓勵不同領域的學生皆可修習此學群內的課程。
以下為本學程於107年執行的開課與學生修習情形摘要:
- 沉浸式體驗概論 (3學分)
授課教師：光電系陳俐吟副教授
修課學生人數：48人
本課程為本共學群搭配學程中的核心課程，內容涵蓋沉浸式體驗的發展趨勢、軟硬體技術、內容文本、應用場域等。透過此基礎課程將對沉浸式體驗有興趣的學生引入共學群，學習跨領域對話、團隊合作，進而延續、分流再合併學生於沉浸式體驗的學習藍圖。本課程亦帶領學生實際體驗VR設備、手作簡易VR設備、參訪沉浸式體驗的應用場域-4D動感劇場、與任職於智崴科技擔任前瞻技術開發經理的業師交流，深入了解沉浸式體驗所包含的技術與內容。
 |
- 音場技術導論 (1學分)
授課教師：電機系余祥華教授
修課學生人數：48人
本課程著重於音樂發聲與錄製的基本原理與設備，並介紹虛擬實境及體感遊戲中會應用到之音場技術，用以建構學生對於劇場聲場與虛擬音場的認知，未來可用於實務專案中。
|
|
- 姿態辨識導論
授課教師：電機系邱日清副教授
修課學生人數：11人
本課程內容涵蓋體感設備的基礎姿態辨識技術、影像與串流技術，讓學生學習如何偵測移動中物件，建構對智慧人機介面的認知與應用技能。
- 虛擬實境程式導論
授課教師：電機系葉家宏教授
修課學生人數：40人
本課程教導學生使用Unity 3D與HTC VIVE建構3D虛擬場景，引導學生應用遊戲引擎內部的物理引擎以及相關外掛程式，並探討虛擬實境於各領域的應用場景。
- 感測器與定位
授課教師：電機系邱日清副教授
修課學生人數：8人
本課程教導學生感測器與定位的基礎技術與應用，包含元件特性、資料特性收集、視訊感測技術等，讓學生能使用到未來的專案上。
- 體感運動機構導論
授課教師：電機系邱日清副教授
修課學生人數：11人
本課程教導學生體感技術中的體感平台機構，包含馬達、平台連桿技術、多軸動感平台、穩定技術等。
- 情境感受導論 (1學分)
授課教師：光電系陳俐吟副教授
修課學生人數：38人
本課程使學生了解何謂情境感受，包含情緒當下的生理與心理狀態，並講解核心的情境感受技術，並透過期末報告分析廣告、劇本、購物節的情境技術，期能使學生在未來的專題作品中應用情境感受技術實現更具沉浸感的場景。
- 跨領域音樂技術與實作二
授課教師：音樂系李思嫻副教授、音樂系林鴻君助理教授
修課學生人數：10人
本課程引導學生透過情境、情緒與速度感三大共感面向作為跨領域的溝通平台，創作體感產品中的音樂，作為視覺與體感間的聯結要素。
- 多維度媒體實務
授課教師：電機系邱日清副教授
修課學生人數14人
本課程為此共學群的核心課程，為實務導向的整合性課程，以專題的方式搭配業界專家的指導，引導學生進行跨領域合作，實作產出專案成果，達成本共學群的核心目標。
下學期將新開設課程如下：
虛擬實境導論、體感技術導論、成像技術導論、劇場藝術導論、故事編程、音樂與音效導論。
(二)亮點特色 (本部分與沉浸式體驗共學群的報告內容大多相同)
本學程引導學生的跨領域實作作品應用範圍包含娛樂、教育到醫療復健輔助，所需技術從電控(電機系)、背景音效(音樂系)、故事場景設定(劇場藝術系)，各自發揮所長。像敲音符(Hit the Note)遊戲可應用於小朋友對於音感及節奏的練習，娃娃機看似一般娛樂的夾娃娃遊戲，但卻可以應用於訓練老人手部復健的軟體，而射箭遊戲則是針對射箭有興趣的初學者，用於基礎手部及姿勢的調整與練習，除了遊戲之外又兼具訓練的功用，學生從點子的發想到做出成品、實際應用，需要團隊的溝通與整合能力，也是此共學群最大的目標-訓練出學生跨領域整合的能力與團隊合作精神。對於共學群教師更是一大考驗，如何媒合來自不同領域的學生，協助學生制定共同的研究目標，甚至在每一次的討論中給予最專業的建議與修正方向，對共學群教師來說這門課不僅是專業知能的傳授，也包含引導學生如何整合團隊，進而鼓勵學生往目標前進。
今年度由共學群參與學生作品已於高雄市資訊月展出，出展作品如下:
|
(1) Hit The Note (音感肢體活動) |
|
|
打打音符(Hit The Note)是一款符合所有年齡層的音樂節奏軟體，透過體感與音樂節奏的融合，培養出音樂素養；藉由肢體互動功能來活動身體並以身體記住旋律。另外，針對所有年齡層的需求而採用貼近生活的童話風格，以清新的插圖結合故事發展，不但擁有親和力，更讓玩家會心一笑。我們希望此軟體達到以下功能:
a.老年人復健:
軟體模式分成簡單、中等、困難三種，老年人可以先從簡單的模式來活動手部，小範圍左右移動、上下揮擊來當成簡易的復健，並透過熟悉音樂、記住音鍵的模式來讓頭腦思考，以預防智力衰退。
b.兒童音樂節奏養成:
在學習音樂的過程中，熟悉音樂旋律以及節奏極為重要。讓稚齡兒童使用這套軟體，可讓他們在過程中具備分辨音樂節奏的能力，並搭配肢體以熟悉音樂，以開發孩童在音樂領域的潛力，也可透過背景刺激小孩的想像力與理解力。
|
(2) 射箭(體育技巧) |
|
|
射箭是個有許多限制的運動，透過Kinect感應器來讓使用者可以「親身體驗」射箭這項運動的魅力，且讓大家學習正確的射箭動作，並且訓練模式可以讓你和體朋友一同分個高低，讓朋友們看看誰才是神射手。主要開發功能為：教學以及訓練。教學功能中，畫面上將有人物來引導使用者，使用者只要看著畫面即可學習到標準的射箭動作。訓練功能中，主要讓使用者體驗正規射箭比賽射箭的感覺，其中加入分數以及結算畫面讓多名玩家可以同場較勁，增加趣味性。使用者亦可自行使用彈力帶來模擬開弓時的張力。
|
(3) 娃娃機(肢體伸展) https://youtu.be/zVfLO48ygUI |
|
|
這個作品整合了電機系、音樂系及劇藝系等不同領域，由電機系負責系統程式、架構的設計；劇藝系則是建構場景以及物件；再由音樂系依據場景物件，搭配音效配樂。作品主要使用了體感操控，讓使用者能夠直接用手對虛擬物體進行移動，並且開握手掌選取或是抓取物件，這個系統能夠應用於醫療復健上，幫助進行復健時能夠有較充分的目的去開握手掌、移動手臂，同時抓取的物件也能讓使用者任意擺放，可以配合各種不同復健需求。主要功能:
- 體感操控:
可選擇使用右手進行控制，能自由移動手臂控制物體移動，並利用手的開握控制物體抓放；可讓人進行手臂相關復健活動。
- 自由模式:
可以自由設定所需動物位置，設定好可以進行存檔，將動物位置儲存起來，以便進行某固定抓取位置；可依照患者需求來擺放特定位置。
- 讀取檔案:
讀取先前所儲存的動物位置，並進行遊戲；可依醫生安排的位置重複進行復健。
- 得分機制:
計算得分數，並根據分數進行解鎖物件，並記錄最高得分；讓使用者能追求更高分數，了解自己是否進步，檢視自我復健情形。
|
(4)遠端照護系統_心音診斷(醫療輔具伸展) |
|
|
台灣逐漸邁入老人化的社會，慢性疾病將成為國人身心健康的主要威脅，再者，醫療資源亦會造成莫大的支出。尤其目前的醫學檢測，大都是在醫療院所完成，不但增加病患的來回奔波，也浪費不少社會資源，因此，如何發展遠端照護系統，提供更好的醫療品質、降低社會成本及增加便利性，至為重要。本計畫之目的在於導入VR/AR的技術於遠端智慧型行動裝置實作一人體生理訊號記錄分析儲存系統（以心音為例），讓遠端智慧型體感裝置成為慢性疾病高危險群遠距的檢測設備，幫助患者即時發現生理異常而提早就醫，訊號處理功能也提供資訊讓遠距專科醫師作為專業診治的參考。
|
(5) 互動式光線槍射擊系統 (互動式遊戲) |
|
|
虛擬實境的產業正蓬勃發展的時代來臨，結合物聯網的技術，提供更擬真的操作實物，為系統整合的研究發展者，現階段熱切追逐的目標之一。本作品主要在實現主題樂園中自走車上互動式光線槍系統的光線槍射擊系統，包括光線槍擊發模組單元、高可靠度無線通訊網路與擊發標的獲得單元等三大單元的設計與實現。本作品為一高度技術整合的系統發展，作品的完成，除可達到實現主題樂園中自走車上互動式光線槍系統外，對高可靠度無線通訊網路的發展與高速視訊感測技術的發展，將有實務上突破性的研發成果。
附件照片:高雄市資訊月參展照片、學生成果採訪影片、期末成果展影片、期末成果展演照片
校內新聞連結: //news.nsysu.edu.tw/p/406-1120-196864,r2910.php?Lang=zh-tw