語言模型的進化：從圖靈測試到GPT的發展之路

FIND研究員：楊尚融 

語言模型的發展代表了人工智慧技術在自然語言處理領域的重大突破。從最早的圖靈測試到現今的GPT系列，語言模型的演進不僅反應了技術的進步，也展示了人類如何賦予機器更高層次的語言理解和生成能力。

模仿遊戲（imitation game）

人工智慧（Artificial Intelligence，AI）的起源，最早可以追溯到20世紀中期，人工智慧之父艾倫·圖靈（Alan Turing）所提出的「圖靈機（Turing machine）」概念。圖靈機是一台假想的機器，用該機器來模擬人們利用紙筆進行數學運算的過程，此一概念為電腦科學及計算理論奠定基礎。接著圖靈於1950年提出了「圖靈測試」，這是一種評估機器智慧的方法，本質上它是個「模仿遊戲」。該遊戲由一名人類提問者、一名人類受試者，以及一台機器組成。「提問者」透過打字與「人類受試者」及「機器」進行交流，但不能看到他們。機器的任務是模仿人類回答問題，使提問者無法分辨出誰是人類，誰是機器。如果提問者在相當長的一段時間內無法準確區分誰是機器？誰是人類？則表示該機器通過測試，具有類似人類的智慧。

模式匹配（Pattern Matching）

圖靈測試被提出來之後，激發大量關於機器智慧的研究。例如1966年，麻省理工實驗室發明出一個聊天機器人Eliza，她被定義成一位心理治療師。1995年另一個更先進的聊天機器人Alice被發明出來，Alice使用AIML（Artificial Intelligence Markup Language）語言技術進行對話。AIML由開發者定義「模式」和「相應的回應」，ALICE再透過「模式匹配」技術來識別使用者輸入的關鍵詞，並根據預先定義的AIML規則進行回應。這種方法使ALICE能夠處理許多的對話情境。

不論是Eliza或Alice，他們聊天的原理，都基於「模式匹配」，即機器只要看到一個關鍵詞，就會被觸動一個預設的動作。放眼現今，很多購物網站或銀行的聊天機器人，仍是仰賴「模式匹配」的技術。例如當我們提到退貨，網站就會給出退貨流程；提到ATM，聊天機器人就會標記出地圖上附近的ATM據點。這種模式雖然稱不上智慧，但確實節省許多人力，不必再去處理重複又機械性的操作流程。

機器學習（Machine Learning）

但想通過「圖靈測試」，單憑「模式匹配」的技術很難成功，於是便出現語言學習中的新流派：「機器學習（Machine Learning）」。「機器學習」有別於以往按照特定程式碼運作的規則；它著重於訓練電腦從大量的數據中學習並找出規律，進而預測及決策，再根據經驗不斷地改進。2001年Smarter child被開發出來，設計成為即時通訊軟體中（如MSN Messenger和Yahoo Messenger）的虛擬人物。

它運用先進的「機器學習」模型，模仿人類對話，回答天氣預報、新聞時事、股市行情等各種問題，使得互動聊天更為自然。開發出Smarter child的公司在2007年被科技巨擘－微軟收購，微軟將其技術整合到自家產品當中，提升了Windows Live Messenger智慧助理和聊天機器人的功能。由此可見，微軟很早就開始覬覦這個領域，之後更是持續投注大量的資源在自然語言處理和人工智慧技術方面的研究。

人工神經網絡（Artificial Neural Networks, ANN）

自2010年起，「機器學習」中的一個領域－「人工神經網絡（Artificial Neural Networks, ANN）」開始迅速發展。這種仿生物神經網絡的運算模型，特別擅長處理需要靠「直覺」來完成的任務。直覺性任務涉及多種維度的數據或模糊的資訊，難以透過明確的規則或演算法來解決。此外，直覺性任務往往包含複雜的模式和關聯性；欲解決這類任務，需要依賴於過去的經驗和學習所構成的基礎。

人工神經網絡由多層神經元組成，每一層神經元接受前一層的輸出，再處理。它能夠逐層學習數據中的特徵，從初級特徵（如邊緣、紋理）到高級特徵（如形狀、結構、臉型、音調及頻率），最終區分出不同的人像、圖像及聲音。而且人工神經網絡擅長從大量的數據中歸納出共同的特徵或規律，並在數據含有干擾值和不確定因素時，依然能夠做出合理的判斷。例如車輛在行駛中，會遇到各種不確定因素（如天氣變化、道路狀況），自動駕駛系統的神經網絡能夠藉由訓練中學到的經驗，做出穩定的決策。

人工神經網絡在圖像處理、人臉識別、聲音識別、自動駕駛和等領域逐漸有了顯著的成果，但是在文字領域（自然語言處理，NLP）卻一直進展得不順利。直到2017年Google提出新的學習框架：Transformer。Transformer特別擅長處理語言數據，它有別於傳統模型依賴序列、逐字逐句處理文字；而是能夠捕捉句子中長距離的語意依賴關係，並更完整地理解上下文，從而提升文字處理的精確性。有了Transformer這個深度學習的模型，使得機器在文字學習領域的發展突飛猛進。目前很多自然語言處理模型（如BERT、GPT）都建立在Transformer的基礎架構上。

GPT粉墨登場

技術方面已經有所突破，尚缺資金和人才。於是Elon Musk（特斯拉、SpaceX 創辦人）、Sam Altman（著名加速器Y Combinator前總裁）、Greg Brockman（支付公司Stripe 前首席技術長）、Ilya Sutskever（Google Brain 的AI 研究員）等人共同注資10億美金，於2015年創立了OpenAI。OpenAI最初的定位為一家非營利組織，致力於人工智慧研究，並公開其研究成果和技術細節，讓全球的研究人員和開發者都能夠利用OpenAI的成果進一步創新和應用。

OpenAI成立後將研究重心放在自然語言處理（NLP）領域，專注在以Transformer為主的模型開發。2018年6月推出一款具開創性的語言學習模型：「Generative Pre-trained Transformer（GPT）」。緊接著OpenAI增加模型的參數量和訓練數據的規模，在2019年11月推出GPT-2。GPT-2成功之後，OpenAI繼續擴大其研究規模，在2020年6月推出GPT-3。作為GPT系列的第三代語言模型，它在自然語言處理（NLP）領域具有重大的意義。GPT-3是當時世界上規模最大的語言模型，擁有1,750億個參數，為GPT-2的100多倍。如此巨大的參數規模使其具備了更強的語言理解和生成能力。

在機器學習領域，競爭主要集中在兩個關鍵方面：「模型設計」和「參數量」。即使擁有優秀的模型，也需要極大的數據量來支持；參數量越大，模型的潛力越高。但這也意味著必須投入巨額資金進行訓練和驗證。為了確保持續性的技術開發，OpenAI 開始尋求外部資金的支持，包括從 Microsoft獲得約10億美元的投資。經此變化，OpenAI 也轉型為一家「有限營利」的機構，這種轉型允許OpenAI分配部分收益給投資者，並限制公開某些核心技術的細節。

結論

語言模型的演進顯示了人工智慧在處理自然語言方面的巨大潛力。隨著技術的成熟和應用的擴展，語言模型將在更多領域內發揮重要作用，進一步改變人機互動的方式。

封面圖片來源：Pexels

參考資料來源：

1.圖靈機 - 維基百科，自由的百科全書 (wikipedia.org)

2.漫談模式 : Pattern matching (openhome.cc)

3.Pattern Matching: Algorithms & Applications | BotPenguin

4.機器學習 - 維基百科，自由的百科全書 (wikipedia.org)

5.什麼是神經網路？| 神經網路的類型 | Cloudflare

OOT Diffusion技術：重塑AI換衣體驗的未來

FIND研究員：盧士凱

隨著人工智慧（AI）和虛擬實境（VR）技術的持續進步，虛擬試衣的概念已成為現代零售業的重要創新。透過先進的AI演算法和即時影像處理技術，AI虛擬換衣系統能夠即時在使用者的影像上生成不同服裝樣式，提供前所未有的沉浸式試穿體驗。此系統讓使用者能即時「試穿」不同衣物，無論是虛擬服飾還是現實世界的實體服裝。

技術發展背景

虛擬試衣技術的興起主要得益於人工智慧（AI）和深度學習技術的快速發展。虛擬模特兒試穿工具（OOT Diffusion）技術結合了生成對抗網路（GAN）和擴散模型的優勢，能夠更精確地模擬不同材質、樣式的服飾，並在保持真實感的同時，提供即時試穿的功能。

圖 1 OOT Diffusion示意圖

圖片來源： Github 

與傳統虛擬試衣技術相比，OOT Diffusion能更準確地捕捉使用者的身體動態和比例，並生成與實體服飾相符的試衣效果。這項技術的應用範圍廣泛，從線上購物平台到實體店面的智能鏡子應用，皆能為顧客帶來全新的購物體驗。

技術介紹與應用現況

這項技術在零售業的應用潛力巨大。透過AI生成衣物樣式，顧客能在購物過程中立即試穿不同的服裝，無需進入實體試衣間。除了試穿虛擬服裝外，系統也可以結合實際服裝展示，顧客能夠透過螢幕選擇並試穿店內實際販售的衣物，進一步提升購物體驗。

圖 2 AI試衣換裝示意圖

圖片來源： 本文作者自行拍攝

此外，這項技術也可以應用於娛樂和文化活動中，例如虛擬角色扮演、展示台灣傳統服飾文化等，為觀眾提供個性化的換裝體驗。

未來展望/挑戰

雖然OOT Diffusion技術具備高度的市場潛力，但在商業應用上仍面臨一些技術挑戰。例如，為了保證即時性和服飾生成的細緻程度，技術需優化硬體資源的使用效率，並提升圖像生成的速度。同時，對於不同身材與體型的適應性，仍需進行更多測試與調整，以確保系統的普適性。

隨著技術的進一步發展，我們預計AI換衣技術將會更加成熟，有望在更多元的場景中實現應用。例如，虛擬角色扮演、個性化服裝設計、以及虛擬時尚展覽等皆是潛在的發展方向。對於時尚產業來說，這項技術不僅能提高服裝銷售的轉化率，還能透過更具吸引力的互動形式，吸引年輕世代的消費族群。 

封面圖片來源：本文作者自行製作

參考資料來源：

1.OOT Diffusion
https://github.com/levihsu/OOTDiffusion

2.Revolutionizing Fashion Retail: How AI, AR, and VR Are Redefining the Shopping Experience for High-End Customers https://medium.com/@maheshhkanagavell/revolutionizing-fashion-retail-how-ai-ar-and-vr-are-redefining-the-shopping-experience-for-2379760bc1a2

台灣城市綠色轉型參考：「SDGs推進世界的示範城市」日本北九州市

FIND研究員：張皓瑜 OECD（經濟合作發展組織）全名為Organization for Economic Cooperation and Development。該組織致力於推動經濟增長、提高生活水準、維護金融穩定、協助其他國家的經濟發展，以及促進多邊自由貿易等目標，素有 WTO（世界貿易組織） 智庫的美譽。>

茶葉也可以用AI撿選！建置IOT監測系統維持百年老茶品質

FIND研究員：吳湘芸 茶為全球需求量最大的飲品之一，茶葉種植通常需要特殊氣候輔助生產，且易因溫度與濕度變化影響茶葉品質，故種植區域以熱帶及亞熱帶地區為大宗。 >