淺談NVIDIA虛擬人技術

FIND研究員：陳冠宇

【技術觀測內容】

　　虛擬人(DIGITAL HUMANS)存在於數位世界中，結合電腦繪圖、數位建模、動作捕捉、人工智慧、語音合成等技術，簡單來說，就是在科幻電影所見的人造機器人數位化版本，在元宇宙中可以提高服務效率並降低成本。從長遠來看，虛擬人技術會是元宇宙重要的基礎建設之一。

　　NVIDIA創辦人黃仁勳在2021年4月春季GTC大會裡，在開場演講影片中暗藏14秒以他真實形象塑造的仿真人演說片段，成功的騙過大家的眼睛，又在年底秋季GTC上再度展示使用自己外觀建立的迷你版虛擬角色"Toy Jensen"，但這次是與專家對談艱深的氣候、人造衛星、醫療等議題，展現NVIDIA在對話式人工智慧與自然語言上的功力。

圖1  NVIDIA的虛擬人技術發展方向

資料來源：NVIDIA https://www.youtube.com/watch?v=Pev84SGO2r0&t=485s

NVIDIA將建立虛擬人的技術分為以下8個面向：

• 可視化(Vision)：建立Avator的技術，例如Omniverse Avatar。
• 語音(Speech)：語音技術包含自動語音識別 (ASR) ，讓虛擬人可以聽得懂我們說的話，和文字轉語音 (TTS)可發出聽起來非常自然的語音，NVIDIA Riva是開發及時語音AI的SDK，可使用GPU的並行處理算力。
• 表情(Face Animation)：技術讓虛擬人的語音與嘴型能對上，例如NVIDIA Audio2Face。
• 擬真圖像(Realistic Graphics)：NVIDIA Studio與Omniverse應用程式提供開發擬真的圖形的軟體，並支援GPU加速與光追效果。
• 對話(Conversation)：即時對話式人工智慧的 NVIDIA Maxine SDK，可以強化線上會議或是對話服務而發展的多種工具集，可以過濾背景環境噪音還原人聲、或是從多個人聲中分離出一個人的聲音，也能翻譯你講出的話並模擬你的聲音講出他國語言。另也有提供眼神校正功能，讓視訊會議中的人都注視著你，提升視訊會議的體驗。
• 規劃與行動(Planning & Action)：NVIDIA DRIVE 等技術提供自架車路線規劃與控制功能。
• 手勢動作(Gesture)：TAO Toolkit 具備專門的手勢辨識模型，能在NVAIDA NGC雲端服務上進行訓練，並在 NVIDIA Jetson 上部署模型。
• 肢體動作(Body Animation)：Omniverse Machinima應用程式提供開發更為真實的虛擬人臉部與肢體動作。TAO Toolkit 也內含BodyPoseNet可以分析影像中的多個人物的骨架肢體動作，不需要額外的感測器。

圖2: NVIDIA 平台架構

資料來源：https://seekingalpha.com/article/4518179-nvidia-stock-the-company-powering-technological-advancement

NVIDIA強調，在NVIDIA所建立的”One architecture”平台下，從開發工具到應用軟體，從資料中心到處理晶片一應俱全，不用再四處找尋工具或解決方案。平台部分包含以下三個平台：

• NVIDIA HPC：使用NVIDIA GPU所搭建的高效能運算平台，可以利用多個運算節點的GPU進行平處理。可以有效且快速的執行應用程式。
• NVIDIA AI：NVIDIA 人工智慧平台的作業系統。
• NVIDIA Omniverse：提供創作者使用的應用軟體，可使用雲端的RTX運算資源，在輕量的筆記型電腦中執行。

【應用效益評析】

　　2021年底Facebook改名Meta掀起全球元宇宙旋風，一年後的今天來看元宇宙的發展不如預期般的美好，Meta自己也深陷市值下跌與裁員的麻煩中，但問題應該不在元宇宙的發展方向，而是現階段的體驗與我們的期待有些落差，所以現在正好是好好檢視問題並提升元宇宙基礎建設的時候。

　　目前普遍認為，元宇宙在AI、虛擬人等技術上都還有許多成長空間，而就在幾週前OpenAI發佈的免費機器人對話模型ChatGPT3.5，在短短一個周內就累積超過100萬用戶使用，其所開發的對話機器人在持續性對答能力讓人驚艷，也讓我們看到讓電腦學習舉一反三變成可能，激發出相關研究者無限的想像。

      而從GPT到GPT3主要的差異之一就是參數數量與訓練數據的大幅增加，背後就是依靠強大的計算能力來支撐，而NVIDIA將過去只有高階實驗室才能提供的計算能力藉由雲端系統、邊緣雲系統或是可自行搭建GPU叢集運算平台，讓過去需要數百萬小時的計算時間降低到數十小時內可完成，尤其觀察近幾年AI運算能力的成長幅度甚至超越半導體發展的摩爾定律數10倍以上！所以現在看似遙遠的虛擬人技術在不久的將來絕對值得令人期待。 

參考來源：

• 封面圖來源 NVIDIA https://blogs.nvidia.com.tw/2021/11/10/nvidia-ceo-accelerated-computing-ai-omniverse-avatars-robots-gtc/
• NVIDIA Special Address at SIGGRAPH 2022 https://youtu.be/Pev84SGO2r0
• Ithome https://www.ithome.com.tw/news/150066
• GTC 2022 主題演講 https://www.nvidia.com/zh-tw/gtc/keynote/
• 2021年GTC主題演講 https://blogs.nvidia.com.tw/2021/11/10/nvidia-ceo-accelerated-computing-ai-omniverse-avatars-robots-gtc/
• NVIDIA RIVA https://www.nvidia.com/zh-tw/ai-data-science/products/riva/
• NVIDIA MAXINE https://developer.nvidia.com/maxine
• NVIDIA TAO Toolkit https://developer.nvidia.com/tao-toolkit
• Seekingalpha：The Company Powering Technological Advancement  https://seekingalpha.com/article/4518179-nvidia-stock-the-company-powering-technological-advancement

90秒AI線上投保 保險科技新創公司Lemonade

FIND研究員：呂姿瑩 2022年受疫情影響，社交隔離政策使傳統保險業務員難以與客戶會面，在銷售和處理理賠上都造成了雙方的不便。而大量的承保和理賠業務也為公司帶來極大壓力，複雜又耗時的理賠過程更使客戶對保險公司不滿。冗長的契約、繁瑣的理賠過程、不透明的價格，以及保險公司扣除理賠金額後的獲利模式都造成了消費者對保險公司有嚴重的不信任態度。>

SPAC(特殊目的收購公司)熱潮不再，美國祭出監管措施

FIND研究員：壽邇琪 本文為接續第三季所介紹的SPAC系列專文：「從台灣AI公司大猩猩科技於納斯達克SPAC上市來了解何謂SPAC(Special Purpose Acquisition Company)」，說明了SPAC的運作方式及最常被問到的疑問：SPAC與普通IPO的差別在於，透過SPAC上市能省去繁雜的募資簡報與承銷過程，只要能說服SPAC股東會，就可以上市；>

大數據賦能食品產業，導入數位科技力翻轉營運

FIND研究員：陳珈后

民以食為天，但近年因為氣候異常導致物產短缺等問題，或健康、食品安危機等議題，食品產業也正面臨必須轉型以跟上瞬息萬變市場的腳步。例如，當產品原物料繁多又遇上來源不一的時候，對於產線將帶來品質不易調控、倉儲管理與追蹤困難的營運狀況；抑或如關鍵製程缺乏數位化，必須仰賴人工紀錄的職人經驗，造成傳承不易的窘境；尤其三年多來疫情衝擊，導致原物料與航運價格上漲，不僅僅貨櫃短缺、更因民眾新常態生活的改變，都使得食品業必須從營運正面對決轉型的挑戰。 

觀測國外的經驗，日本投入近61.7兆日圓，以強化競爭力及提升效率化進行數位轉型，而新加坡則依照其數位轉型的程度提供數位指南、補貼方案及顧問服務，協助產業能拓展智慧商務與進軍全球市場。對於國內食品業的營運轉型，資策會以「訂單流程自動化模組」與「雲端銷售分析模組」為基礎，透過客製化服務，協助食品產業解決產業問題推動數位轉型。

靠科技模組發揮功效，助食品業營運效率驚人提升

以振禾食品為例，振禾食品從電商平台取得來自各種不同通路訂單資料後，須依照多種不同的訂單種類以人工方式進行資料清洗、轉換與設定等作業後，才得以匯入ERP系統，耗時費力也容易出錯，造成商品出貨的困擾。在導入了「客服訂單資料處理」的服務後，簡化對商品及通路銷售數據的處理程序，加速銷售資料處理時間及分析人力，提升營運管理效率。 

京工興業則面臨到不同包裝組合與各式通路的複雜難題，需要仰賴人力逐一梳理不同通路所銷售出的不同包裝組合，並拆解到最小單位進行統計，但若過程中有所疏漏，則將影響後續的銷售分析；對此，京工興業導入「營運銷售分析」服務後，可針對不同通路別(如百貨賣場、電商平台等)，自動且快速產出銷售排行資料，有助於高層主管快速掌握各種不同通路的商品銷售數量變化，以快速調整行銷營運策略，進而制定公司各項產品銷售推廣策略與客戶經營模式調適，迎戰市場快速變化的脈動腳步。

下一步，食品業將在大幅提升庶務執行的效率後，搭配數位化的數據統計，進行更全面的轉型，並靠著分析統計讓產業能從營運模式中找出破壞式創新，翻轉產業現況。

資料來源：資策會/數轉院/健康數據科技中心/健康資料組

封面圖片來源：https://www.freepik.com/