數據中台核心技術

GRAVITY

實作微服務及DATAMESH資料供應概念
隨選即用數據整合平台

Image

傳統數據架構是數位轉型的最大阻礙

隨著雲端技術的普及、數據時代的衝擊,各企業紛紛踏上數位轉型之旅。雲端化與微服務化成為數位轉型的指標性定向。然而,當數位化要求越高、數位轉型的程度越高,微服務架構下的「資料解耦和碎片化的管理」問題,隨著微服務的深化而更為凸顯。同時,由於長期的企業文化與技術架構原因,造成了眾多數據孤島的現象,嚴重阻礙了數位轉型的進度。加上資料的數量、複雜度也隨之增加,橫跨多個系統的資料交換、分享、供應,已經是讓許多 IT 技術人員頭痛的難題,如今橫跨組織、行政單位的資料治理議題,該怎麼實現,更是讓所有人頭痛摸不著頭緒。

Image

缺乏擴容能力

資料供應跟不上業務發展需求,應用服務擴展時資料庫無法跟著擴展。

資料不夠即時

眾多 ETL Sprawl 排程作業依存關係嚴重彼此干擾,資料時效性差。

欠缺讀寫分離機制

老舊系統沒能實作讀寫分離,嚴重衝擊核心系統效能,無法有效支撐重要業務系統。

資料無法共享統一

傳統數據平台僅解決基礎資料整合和共用問題,應用系統之間仍然煙囪林立,資料價值不彰。

GRAVITY 解決問題的關鍵

解決資料供應的問題關鍵,在於如何以「最短路徑、最少資料量」去發佈資料給應用服務 ,讓資料處理的工作分散在不同的系統上,降低其相互間的干擾和影響。以 數據網格(Data Mesh) 建構靈活的資料供應鏈,並實現分散式部署與管理,精準篩選資料並提供快取服務,降低核心資料庫的存取壓力,解決資料供應的問題,改善資料即時性與核心效能。
不僅如此 Gravity 使用 Kubernetes 作為底層技術,K8S底層架構同時兼顧規模與效能,隨服務需求成長自動伸縮資料節點,完美實作微服務資料供應架構,成為地端、雲端、混合雲的最佳資料調度解決方案。

Image

即時 CDC 資料同步

擷取資料來源的資料庫變化,並在毫秒內同步更新到目的資料庫

支援異質資料整合即時同步

透過資料管線及彈性的運算節點,從異質、同質、異地、異雲點對點地訂閱原始資料,包括 Oracle, MySQL, SQLServer, PostgreSQL, Infomix, MongoDB, Kafka, MQTT, Restful API 等,並支援支援結構化、半結構化和非結構化資料​​。

Image
Image

資料多重發佈

透過GRAVITY生成資料快取機制同時供應多個應用,降低核心資料庫的存取壓力,避開傳統資料撈取作業時產生的重大效能衝擊,且資料源讀取一次即可實現多重發佈。

讀寫分離機制

無需開發人員撰寫程式碼,只需定義資料庫連線方式及定義 Schema 內容,即可將資料從源頭快速同步到應用程式專屬資料庫,以達到讀寫分離功能。​​

Low-code 視覺化 ETL 開發

提供低程式碼(Low-Code)視覺化拖拉式介面,快速進行資料處理流程與業務邏輯設計,開發即時的 ETL/ELT 資料管線,可支援介接外部數據系統和工具、可擴充的功能外掛模組、輕鬆進行API 設計介接與管理。開發人員再也不用花費時間撰寫大量程式碼介接服務,大幅降低開發時間。

資料產品即服務

依業務需求快速建構生成資料產品(Data Product),滿足不同的應用程式資料臨時、非臨時的存取習慣和需要,即時供應給各類應用場景。

Image
Image

數位轉型挑戰

企業轉型微服務架構時面遭遇到資料方面的調度問題,遲遲無法實現真正的微服務落地

  • 微服務(顆粒度細的應用程式)對傳統核心資料庫造成額外的存取壓力
  • 資料供應跟不上業務應用的發展,異質資料來源的迭代缺乏時效性,資料來源與供應對接耗費,部署與整合成本過高且缺乏彈性
  • 容器只實現了應用程式解耦,但未能實現資料庫私有化(Database Per Service)

解決方案

解決微服務架構的資料供應問題,進而提升整體資料供應效率,達成靈活調度數據中台

  • 以 Data Mesh 建構靈活的資料供應鏈,並實現分散式部署與管理,精準篩選資料並提供快取服務,降低核心資料庫的存取壓力
  • 動態提供資料庫 API,簡化資料管線設計與部署,讓資料庫管理人員(DBA)更敏捷地提供數據給應用程式開發人員(AP),解決長久以來的數據供應問題
  • 以事件驅動方式即時更新資料來源,並動態發佈到距離應用程式最近的中繼資料庫

GRAVITY’S USE CASE

Gravity 應用場景

舊系統資料介接

  • 平行化進行聚合和關聯工作,放大舊系統資料供應量能、實現高吞吐
  • 資料結果在應用執行前準備好,隨選即用
  • 應用請求直接從經過邏輯處的理資料產品讀取
  • 快取機制支撐,同時供應多個應用,不衝擊數據來源資料庫

批次處理效率

  • 資料平均發送處理,避開傳統資料撈取作業時產生的重大效能衝擊
  • 資料源讀取一次即可實現多重發佈
  • 快取機制同時供應多個應用,不會衝擊數據來源資料庫(高吞吐)
  • 動態 API 簡化資料管線設計與部署,讓資料庫管理人員更敏捷地提供數據給應用程式開發人員

多資料源處理

  • 根據應用服務的需求進行資料供應
  • 支援資料庫或非資料庫、結構化資料或非結構化資料
  • 異質資料聚合處理,可根據消費端需求轉換數據類型
  • 支援多段式邏輯處理,取代傳統 ETL/ELT 作業
  • 低延遲,以接近即時速度同步資料

多雲混合

  • 同時支援地端、雲端、多雲架構
  • 資料源只需發佈一次,即可利用快取機制同時供應多個遠端應用,節省大量頻寬
  • 大幅降低延遲度,資料以接近即時速度同步至遠端
  • 可因應不同地區法令過濾篩選特定資料

CONTACT US

索取解決方案

Please enable JavaScript in your browser to complete this form.

快速聯繫我們,加入 Line 官方QRCODE

Image