打造個性化體驗：生成式AI與AI動作辨識技術改變沉浸式互動體驗

FIND研究員：楊青翰 

在疫情及元宇宙發展帶動下，數位藝術、娛樂和行銷領域的體驗需求已從單純的數位虛擬化，進階至高度真實的情境互動，根據2023年數位內容產業報告與台灣文化創意產業發展年報指出，沉浸式互動體驗應用已成為發展趨勢。這類應用經常借助擴增實境（XR）和投影等技術，並結合人工智慧（AI）和其他數位技術來增強體驗的深度。在沉浸式體驗中，使用者不再是被動的觀眾，而是成為互動過程中的主角，他們可以與虛擬角色對話，改變環境中的元素，甚至參與到故事的發展中。這種深度的互動使得沉浸式體驗不僅是一種娛樂形式，更是一種強大的溝通工具，被廣泛應用於文化、教育、行銷等領域。 

【沉浸式互動技術趨勢】 

隨著AI技術的快速發展，生成式AI和AI影像動作辨識技術將成為推動沉浸式互動體驗的關鍵因素。透過科技疊加將兩種技術結合，使得打造更加動態和個性化的沉浸式體驗成為可能，從而帶來前所未有的沉浸感和參與度。 

圖1：沉浸式互動投影 

資料來源：好奇數字公司 

【技術應用現況】 

生成式AI是一種能夠根據輸入文字或圖像後生成獨特內容的技術，在沉浸式體驗中發揮著關鍵作用，它可以用來創建動態場景、生成互動對話，甚至塑造出獨一無二的虛擬角色，例如使用者進行互動時，生成式AI能夠根據使用者輸入的內容和當前情境進行即時生成反應，使得互動過程更加流暢和自然。

此外，生成式AI也可以根據使用者的行為動態調整環境的外觀和氛圍，生成獨特的視覺效果和音效，從而打造高度個性化和動態的沉浸式體驗。因此，場景、互動對話和虛擬角色生成的即時性，成為沉浸式體驗中不可忽視的關鍵因素。 

在2023年底，UC Berkeley、日本築波大學和麻省理工學院聯合發佈了一個名為StreamDiffusion的開源專案。該專案基於LCM和SDXL Turbo技術，能夠每秒生成110張圖像，其技術創新點在於將傳統的去噪順序處理轉變為Pipeline-Level去噪處理，進而消除了長時間等待，顯著增強了性能。 

此外，該專案還透過高效的批次處理、指導機制優化、過濾技術等多種手段，實現流暢且具有超高throughput的圖像生成服務，這項技術可實現在即時繪圖和即時直播領域，成為即時生成式AI導入沉浸式互動體驗的關鍵技術。 

 圖2：一秒生成100張圖範例 

資料來源：StreamDiffusion Github 

在提升沉浸式體驗的真實感和互動性方面，AI影像動作辨識技術也扮演著重要的角色。這項技術能夠即時辨識使用者的肢體動作和行為，並透過使用者肢體動作來控制環境中的元素，將其轉換為虛擬環境中的相應變化，例如：揮動手臂來掀起風、踩在地板上改變地形，或是轉動身體來探索不同的視角。這些互動方式不僅使體驗更加直觀和身臨其境，還讓使用者與虛擬世界的連結深層化。 

 圖3：地面投影結合動作辨識 

資料來源：LUMINVISION公司 

【應用效益評析】 

科技疊加生成式AI與AI影像動作辨識技術，為沉浸式互動體驗帶來了多重效益，除了大大地提升體驗的個性化程度外，AI影像動作辨識技術亦增強互動的真實感，使得使用者能夠更加自然地與虛擬環境或虛擬角色進行互動。這種真實感不僅提升沉浸式體驗的整體品質，還能讓使用者更深入地投入其中，進而延長體驗的持續時間和增強其影響力。 

此外，這兩種技術的應用還能大幅降低創作沉浸式體驗的成本和時間。生成式AI技術能夠自動生成大量內容，無需人工介入，進而減少內容創作的成本；而AI影像動作辨識技術則能自動捕捉和處理使用者的動作和表情，避免了傳統（穿戴式）動作辨識技術中所需的複雜且昂貴的設備和後期處理。 

總結來說，生成式AI和AI影像動作辨識技術在沉浸式互動體驗中的應用，不僅提升使用者體驗的沉浸感和參與度，還帶來了巨大的創新空間和經濟效益。隨著這些技術的進一步發展，我們可以預見，未來的沉浸式體驗將變得更加多元、豐富和充滿創意，為各行各業帶來無限的可能性。  

封面圖片來源：https://www.teamlab.art/zh-hant/w/flowersandpeople/ 

參考資料來源： 

1. 好奇數字—沉浸式互動投影：http://www.haoqishuzi.com/products/cjs/348.html
2. StreamDiffusion Github：https://github.com/cumulo-autumn/StreamDiffusion
3. LUMINVISION—地面互動投影：https://luminvision.com/interactive-floor-projection/

智慧製造：優化手工具產業品質檢測與生產效率

FIND研究員：吳湘芸 

根據行政院主計總處統計，2022年製造業所創造的國內生產毛額（GDP），為新台幣7兆7,227億元，占GDP的34.17%，顯見台灣仍以製造業為大宗。然而，台灣製造業卻面臨缺工等問題，運用數位科技舒緩產業缺工問題，成為當前產業政策重要的目標之一。

製造業普遍面臨缺工困境，智慧化應用方案可提升應對彈性

由於製造業工作環境相對較為艱苦，工時長且勞動強度高，產業聚集地存在較大差異，中小製造業普遍面臨常態性缺工狀況，不僅人員難招募，更無法長期留才。然而我國企業在人力短缺的困境下，也逐漸帶動產業智慧化應用的需求，尤以產品品質檢測的智慧化需求（AI/AOI影像識別技術）為占比超過25%為最高，其主要原因如下：

1. 符合客戶品質要求：消費者和終端客戶對產品品質的期望值日益提高，製造業必须在生產過程中維持高產能和產品良率，以確保生產過程中沒有出現瑕疵。因此，品質控制成為關鍵管理議題，對瑕疵檢測的需求不斷增加。
2. 提高生產效率需求：面對大規模產品量產的需求，人工檢測方法不僅費時且成本高，還容易因人為因素（如疲勞、誤判或疏忽）而出錯。相較之下，導入AI/AOI品質檢測系統，可以實現自動化和智慧化的產品瑕疵檢測，快速檢測大量產品，顯著提升生產效率，降低人工成本。
3. 降低生產成本壓力：傳統製造業面臨嚴峻的成本壓力，需要在製造過程中降低不良品率，減少因不良品產生的成本損失。透過自動化和智慧化的AOI檢測系統，製造業可以在生產過程中或成品檢測時及早發現潛在瑕疵，快速調整並修正製程，進而減少不良品的產生率，降低成本損失。

智慧化應用方案提升手工具產業品質檢測效率與品質穩定

每個產業對品檢的需求和挑戰各有不同，尤其是手工具產業，在品檢通常採人工全檢，因長時間作業（疲累感）、人員操作方式不一（手感、棒規角度量測誤差）、產品狀態（圓孔毛邊干涉）而常有人工誤判等狀況，導致後續交貨品質良率不穩定。

資策會會輔導手工具製造業者實際落地概念驗證，先期導入系統整合（SI）業者的「產品圖像特徵品質檢測系統」智慧製造解決方案，透過高解析CCD平行光投影鏡頭逐項拍照，再由影像辨識軟體處理影像照片，即刻產出辨識結果，同時累積記錄品檢數據，協助品質檢測範圍如下：

1. 表面瑕疵檢測：檢測金屬製品表面的缺陷，如圓孔精度、毛邊、凸起、黑點等。透過檢測表面瑕疵，確保金屬製品的表面品質符合標準，並避免因表面瑕疵導致的功能性問題。
2. 孔內缺陷檢測：在金屬製品中，常常會有各種孔洞和通孔，而AOI技術可以檢測這些孔洞和通孔的內部，以檢測是否存在裂紋、碎屑、污垢等缺陷。
3. 尺寸檢測：AOI 技術可以檢測金屬製品的尺寸是否符合標準。通過比較實際尺寸與設計尺寸，可以檢測出尺寸偏差是否符合要求。

透過上述應用，整體降低手工具製造業者的品檢員作業負荷及人工品檢誤判率，平均品檢作業產能從檢測剝線手鉗90支/小時提高到1,800支/小時，品質良率從83%提升至99%，維持交貨良率穩定。

圖一、治具量測設計製作（微處理機+影像處理）

圖片來源：數匯商策

封面圖片來源：Unsplash

資料來源：資策會數轉院數位服務創新中心團隊整理

機器人應用新篇章：導入AI的視覺機器人

FIND研究員：黃旭彤 機器人的運用已十分普遍，並協助解決工廠、餐飲業等需要人力較多的行業。隨著AI科技的發展，機器人加上人工智慧（Artificial Intelligence）和影像視覺辨識的應用，用途將更加廣泛。 >

《專題文章》迎接機器人時代，環境整備Ready Go？

FIND研究員：謝沛宏 在上海人工智慧大會上，不論是特斯拉的Optimus第二代，或者是中國全尺寸開源人形機器人青龍，都引起相當廣泛的討論。或許在未來10年內，機器人會像智慧型手機一樣，成為運行AI的關鍵終端裝置。>