大數據之後下一波浪潮,資料經緯成為資料管理的新趨勢─資策會 FIND科技報─智邦公益電子報
enews.url.com.tw · April 03,2025大數據之後下一波浪潮,資料經緯成為資料管理的新趨勢
FIND研究員:陳建宏、黃盈婷
在數位經濟時代,資料已成為我們不可或缺的一部分,深刻影響著日常活動和商業運作。在當今世界,每天產生的數據量驚人,有些人將資料比喻為數位經濟時代的「新石油」,資料驅動著經濟發展和技術創新。數據來自個人、組織系統和感測器等多種來源,這些資料為企業和組織帶來了無限的機會。本文章從資料平台的發展脈絡開始介紹,並提供資料經緯之現況,提供給對資料治理有興趣的讀者參考。
資料平台的發展
一開始大量的資料是散佈在不同獨立的資訊系統,為了能更完全利用資料的價值,第一代資料平台-資料倉儲(Data Warehouses)發展而成,用於整合企業資料以達到特定分析目的。然而,十年之內,企業資料的數量和種類大幅增加,資料倉儲已無法滿足儲存和管理需求。因此,許多人轉向第二代資料平台,稱為資料湖(Data Lake)。資料倉儲和資料湖共同點在於依賴資料擷取-載入-轉換(ELT)流程,將各個應用系統的資料,從各個系統擷取出來,經過資料清洗及轉換後,再載入到資料倉儲或資料湖中。
在大數據時代,由於非結構化數據的引入,企業內的數據量激增。除了本地部署的各類應用系統之外,企業還擁有資料倉儲(Data Warehouse)、資料市集(Data Mart)、大數據平台(Big Data Platform)以及資料湖(Data Lake)。隨著雲端服務的興起,許多應用程式也逐漸轉向公有雲平台,在資料管理與分析的背景下,將所有數據遷移至單一資訊系統進行集中管理,然而,這樣會導致高昂的資料複製與存儲成本。由於傳統的資料整合方法難以滿足現代分散式資料環境的需求,因此,需要一種新的資料管理架構,以便企業能夠在保留數據於其原始系統的情況下,實現分散式數據的高效存取與管理。
資料經緯現況
為了解決企業資料管理的問題,資料經緯(Data Fabric)應運而生,參考下圖Gartner的資料經緯架構圖,資料經緯的核心即從不同型式且分散的資料來源中收集、連接、整合並提供資料給需要的使用者,簡單來說,是將正確的資料,在正確的時間,提供給正確點位上及給正確的人使用。
圖1 資料經緯架構圖
資料來源:Gartner
資料經緯的解決方案,一般是提供一個統一平台,並整合了幾個重要的功能:
- 資料目錄:這個功能可以幫助組織對資料進行分類和盤點,並且用圖形化的方式展示資料的流動過程,讓人更容易理解資料如何在不同系統中流動。
- 資料工程:這部分用來建立穩定的資料傳輸管道,無論是日常運營還是需要進行深度數據分析,都可以確保資料的可靠性。
- 資料治理:確保資料的品質和合規性,並在大規模使用的情況下保護資料的隱私與安全,讓資料能夠在安全的環境中被使用。
- 資料準備與流程管理:這功能定義了資料從來源到最終使用的路徑,包括清理、轉換、保護、及驗證資料等過程,確保資料可以按正確順序處理。
- 資料整合與傳送:這個功能允許從不同來源提取資料,並使用不同的方式把資料傳送到目標系統,這些方式包括批量處理、訊息傳遞、資料變更捕獲、虛擬化和API。
- 資料保存層:這部分確保資料能被動態儲存,以便支援即時的資料處理、搜尋和分析,使資料能夠即時反應變化。
資料經緯平台除了處理資料管理功能外,通常還具備一些重要的非功能性能力:
- 資料規模與性能:無論資料量多大,資料經緯應該能夠容易或自動擴展或縮小規模,並且能處理大型企業的日常營運和數據分析需求,並保持高效運行。
- 資料存取:它需要能夠處理各種資料來源和資料類型,不論是靜態的還是動態的資料,也不論資料是來自本地系統還是雲端系統,無論資料是結構化還是非結構化的,而且讓使用者不需要了解資料的具體存放位置或技術細節就能輕鬆存取這些資料。
- 分佈部署:資料經緯應該能夠部署在多個雲端、本地或混合環境中,並且需要有智慧的資料虛擬化策略來確保交易和資料治理的完整性。
- 安全性:當資料被儲存時,必須確保資料是加密和遮蔽的,符合資訊安全與隱私相關法規。此外,系統應能夠傳遞使用者的權限憑證,確保資料的存取是經過正確授權的。
未來展望
資料經緯的發展正在為企業的資料管理文化變革和營運模式帶來新的機會。由於資料經緯具有分散性但也能包容整合,提供了一種既分權又統一的資料治理方式,能提升資料的可信度和可靠性,不同部門的團隊可以更輕鬆地合作,共同管理和利用共享的資料資源,朝著共同的目標努力,這些技術可能最終會讓交易數據和分析數據融合在一起,形成一個統一的資料環境,讓每個人都能更容易存取資料,並快速地獲得數據驅動的洞察,值得持續關注資料經緯的持續發展。
封面圖片來源:https://www.istockphoto.com/vector/particles-dynamic-line-flow-gm1293432939-387840629
參考資料來源:
- Complete guide to data fabric. Retrieved September 22, 2024, from K2view.com website: https://www.k2view.com/what-is-data-fabric/
- How Data Fabric Can Optimize Data Delivery. Retrieved October 25, 2024, from Gartner.com website: https://www.gartner.com/en/data-analytics/topics/data-fabric
- Sarkar, S. (2024, August 29). An evolutionary history of enterprise data architectures. Retrieved October 24, 2024, from Ibm.com website: https://www.ibm.com/think/topics/data-architecture-history
- The data-driven enterprise of 2025. Retrieved October 23, 2024, from Mckinsey.com website: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-data-driven-enterprise-of-2025
- Unlocking success with data fabric: 5 ways unified data management can help you achieve your goals. (2023, May 11). Retrieved October 25, 2024, from Data Dynamics, Inc. - Intelligent Data Management. Transforming Organizations into Better Data Custodians website: https://www.datadynamicsinc.com/blog-unlocking-success-with-data-fabric-5-ways-a-unified-data-management-platform-can-help-you-achieve-your-goals/
- UQ, Engineering, Architecture, & IT Faculty. Data is the new oil of the digital economy. Retrieved October 23, 2024, from Edu.au website: https://stories.uq.edu.au/shorthand-uq/eait/ingenuity/data-is-the-new-oil/
- What is a data fabric? (2024, August 16). Retrieved September 22, 2024, from Ibm.com website: https://www.ibm.com/topics/data-fabric
- Yasar, K. (2024, September 12). What is a data fabric? Retrieved October 23, 2024, from Data Management website: https://www.techtarget.com/searchdatamanagement/definition/data-fabric
- 繼大數據後下一波浪潮 Data Fabric趨勢湧現. Retrieved September 22, 2024, from Com.tw website: https://www.netadmin.com.tw/netadmin/zh-tw/viewpoint/3E1223F61F054DC5AE831C30B1D52B65
人形機器人崛起:從當前發展到未來願景的全面解析
FIND研究員:黃勇益
人形機器人滿足人類的想像力,從神話故事到現代科技,逐漸由幻想變為現實。在當前,隨著人工智慧、機械設計和感測技術的進步,人形機器人不僅僅是實驗室的展示品,更開始在實際應用場景中展露頭角。這些機器人具備類似人類的外形與運動能力,其設計旨在模仿人類進行複雜的互動與操作,應用範圍涵蓋家庭自動化、工業生產、醫療照護等領域。
近年來,全球許多公司紛紛投入人形機器人的開發,其中以美國和中國的企業表現尤為突出,例如特斯拉的 Optimus 和中國企業的 Kuavo 機器人,這些產品在技術突破與市場潛力上皆備受關注。人形機器人的崛起不僅是技術革新的象徵,更重新定義了許多產業的工作模式與價值鏈。
當前人形機器人的發展現狀:以特斯拉為例
特斯拉在人形機器人領域的發展堪稱典範,其第二代人形機器人 Optimus 在 2024 年上海世界人工智慧大會上的亮相,展現了當前技術的最前沿。Optimus 的核心技術包括特斯拉獨有的神經網路與電腦視覺系統,使其具備計算、學習與執行複雜任務的能力。與傳統工業機器人不同,Optimus 的設計結合了運動能力與智能,使其能在家用和工業場景中執行諸如折疊衣物、搬運物品等工作。此外,該機器人還在特斯拉的工廠內進行測試,用於協助完成生產線中的單調重複性任務,例如零件組裝與物料搬運。
特斯拉執行長 Elon Musk 對 Optimus 的未來充滿信心,認為其市場價值將超越汽車製造業務。Optimus 不僅是一項工程壯舉,也是特斯拉對人形機器人應用的具體實踐。
Musk 預計,Optimus 將在 2025 年進行小規模量產,並在 2026 年達到大規模生產階段,價格範圍預計在 25,000 至 30,000 美元之間,使其更易於被企業與家庭廣泛採用。這些進展顯示出特斯拉不僅在技術創新上持續突破,也在實際應用上快速推進,將人形機器人從概念產品推向主流市場。
圖1:最新人型機器人突破功能展示多元化應用
圖片來源:https://www.ecoticias.com/en/tesla-optimus-robot-introduced/6716/
未來人形機器人的發展方向與展望
展望未來,人形機器人將不僅局限於特定任務的執行,而是向更智慧化、全能化的方向發展。以特斯拉為代表的科技企業,正在致力於提升機器人的適應性與自主性,使其能夠在更複雜的環境中運作,例如工廠中的高精度作業、醫療領域的輔助診療,以及家庭中更多元化的服務場景。為了實現上述目標,技術的突破將集中在更高效的人工智慧演算法、更靈活的機械結構設計,以及更精準的感測和控制系統。
未來,隨著人形機器人的成本進一步下降與技術普及,其應用範圍將大幅擴展,可能徹底改變勞動密集型產業的運作模式,同時減輕家庭中的體力勞動負擔。更重要的是,人形機器人的進步將推動智慧城市與智慧社會的發展,為人類生活創造全新的可能性。然而,這也伴隨著倫理與規範的挑戰,例如機器人的權限範圍、安全性問題,以及與人類工作的競爭。
總而言之,未來的人形機器人將成為人類生活和工作的強大助力。無論是特斯拉的 Optimus 還是其他企業的創新產品,這些技術的推動不僅改變了機器人的定位,也促使產業和社會向更高效、更智慧的方向演進。人形機器人不僅是科技進步的象徵,更是人類創造力與實現力的最佳展現。
圖2:人形機器人將帶來顯著改變,成為後市發展重點
圖片來源:https://www.technice.com.tw/technology/robot/150418/
參考資料來源:
1. https://www.ecoticias.com/en/tesla-optimus-robot-introduced/6716/
2. https://www.technice.com.tw/technology/robot/150418/
3. https://en.wikipedia.org/wiki/Humanoid_robot
碳權與碳稅:應對氣候變遷的重要經濟工具
FIND研究員:王楨芸 在全球應對氣候變遷的過程中,碳權(Carbon Credits)與碳稅(Carbon Tax)作為兩大經濟政策工具,正發揮著日益重要的作用。這兩者各自的設計與運行機制,在於透過市場經濟手段促使企業減少碳排放,並為實現淨零排放的目標提供有效途徑。 >
數位無障礙進化論:人工智慧賦能平等新未來
FIND研究員:邱育生 無障礙服務在於消弭身心障礙者與社會之間的壁壘,讓每個人享有平等的參與權利。隨著人工智慧(AI)技術的突破性發展,無障礙服務正從傳統輔助轉向智慧賦能,不僅提升服務效率,更開創了前所未有的可能性,讓全球13億名身心障礙族群看見平等參與的曙光。>