香蕉福利视频导航_日韩特一级黄色毛片_精品视频亚洲_精品午夜福利在线观看高清_精品国产AV色一区二区深夜久久_2020最新国产永久在线视频_亚洲成+人综合欧美_歐美午夜視頻一區二區三區

中文
  • 中國大陸 / 中文
  • Global / English

XScale 非結構化元數據引擎

打破集群的邊界,支撐 EB 級數據的 AI 數據湖基座
Banner

XScale 非結構化元數據引擎

打破集群的邊界,支撐 EB 級數據的 AI 數據湖基座
Banner
業界痛點
隨著企業非結構化數據占據企業數據增量的 80% 以上,非結構化存儲規模已經跨越 TB 到 PB 級別,而一部分用戶正在邁向 EB 時代,傳統分布式存儲架構面臨“基因層面”的缺陷:
元數據架構的“天花板”
傳統基于哈希環或文件目錄樹映射的元數據管理方式,在面對百億/千億級小文件時,檢索與枚舉(List)性能急劇下降,成為的瓶頸。
元數據架構的“天花板”
數據治理的“盲區”
由于缺乏高效的內部索引機制,海量數據存儲后難以根據業務屬性(如訪問熱度、標簽)進行精細化篩選和流動,導致昂貴的高性能存儲被冷數據占滿。
數據治理的“盲區”
一致性與并發難題
在高并發讀寫場景下,傳統架構往往需要在性能與數據強一致性之間做妥協,難以同時滿足高吞吐和數據準確性的雙重需求。
一致性與并發難題
冷數據元數據的“成本黑洞”
大量長尾對象的擴展屬性長期占用非結構化元數據的存儲成本,使容量、索引管理、備份恢復成本持續上升。
冷數據元數據的“成本黑洞”
XScale 架構
作為業內領先的分布式存儲公司,在大規模非結構化存儲領域具有近 10 年的豐富經驗和技術積累,XSKY 自主研發了新一代內嵌 KV 存儲內核的分布式對象引擎 XScale。

對象元數據語義層

作為系統的頂層業務邏輯中心,直接面向 S3 網關應用提供對象元數據服務。在內部處理機制上,引擎集成了對象分塊與數據處理模塊,提供小文件歸并能力,并配備了包括數據流引擎、智能分層歸檔及生命周期管理在內的豐富后臺服務,從而實現了從數據的高性能寫入到自動化治理的全流程管理。

分布式事務協調層

XScale 架構的核心競爭力在于其基于 KV 的 ACID 事務語義構建了對象元數據事務引擎。不同于傳統對象存儲對最終一致性的妥協,該系統通過原子事務機制將上層業務邏輯與底層存儲緊密耦合。所有的元數據變更均被封裝為原子操作下發,這種設計確保了在復雜的分布式并發環境下,系統依然能夠維持嚴格的數據一致性和邏輯完整性,有效規避了元數據錯亂或丟失的風險。

分布式 KV 引擎

架構基石是由分布式 KV 引擎構成的持久化存儲層,該層對外提供支持豐富的 KV 接口能力。它不僅承擔了基礎的數據讀寫(Get/Set)與范圍查詢功能。通過底層的事務日志協調與線性的 KV 節點分片架構,該引擎在保障數據 ACID 特性的同時,實現了存儲容量與吞吐性能的線性可擴展性。
對象元數據語義層
分布式事務協調層
分布式 KV 引擎

對象元數據語義層

作為系統的頂層業務邏輯中心,直接面向 S3 網關應用提供對象元數據服務。在內部處理機制上,引擎集成了對象分塊與數據處理模塊,提供小文件歸并能力,并配備了包括數據流引擎、智能分層歸檔及生命周期管理在內的豐富后臺服務,從而實現了從數據的高性能寫入到自動化治理的全流程管理。
對象元數據語義層

分布式事務協調層

XScale 架構的核心競爭力在于其基于 KV 的 ACID 事務語義構建了對象元數據事務引擎。不同于傳統對象存儲對最終一致性的妥協,該系統通過原子事務機制將上層業務邏輯與底層存儲緊密耦合。所有的元數據變更均被封裝為原子操作下發,這種設計確保了在復雜的分布式并發環境下,系統依然能夠維持嚴格的數據一致性和邏輯完整性,有效規避了元數據錯亂或丟失的風險。
分布式事務協調層

分布式 KV 引擎

架構基石是由分布式 KV 引擎構成的持久化存儲層,該層對外提供支持豐富的 KV 接口能力。它不僅承擔了基礎的數據讀寫(Get/Set)與范圍查詢功能。通過底層的事務日志協調與線性的 KV 節點分片架構,該引擎在保障數據 ACID 特性的同時,實現了存儲容量與吞吐性能的線性可擴展性。
分布式 KV 引擎
XScale 的獨特性
這種“元數據內嵌 KV 引擎”的架構設計,賦予了 XScale 區別于傳統對象存儲的獨特基因:
原生的 ACID 事務語義原生的 ACID 事務語義

原生的 ACID 事務語義

基于內嵌事務型 KV 內核,將對象上傳、屬性修改或目錄重命名等操作轉化為分布式事務。確保在高并發或宕機異常下,元數據具備數據庫級強一致性,告別最終一致性困擾。

豐富的索引能力豐富的索引能力

豐富的索引能力

將對象元數據“扁平化”存儲在內部 KV 引擎中,支持像文件系統一樣按路徑訪問。同時可針對千億級對象的 Tag、訪問時間等特定字段進行高效排序與檢索。

彈性的 KV 擴展彈性的 KV 擴展

彈性的 KV 擴展

分布式 KV 引擎集群隨存儲節點擴容而橫向擴展,性能也隨之增長,保證了元數據性能與存儲容量的線性同步增長,避免出現“容量充足但慢得無法使用”的弊端。

元數據冷熱分層元數據冷熱分層

元數據冷熱分層

支持將熱元數據保留在 KV 引擎中,冷元數據歸檔到底層數據池,只保留輕量標記,使 KV 引擎不再長期承載冷數據元信息壓力,從根本上優化元數據層 TCO。

性能和功能亮點
萬億級對象擴展能力
支持千億級單桶對象管理,系統整體可輕松擴展至萬億級對象的超大規模。通過分布式架構消除元數據單點瓶頸,確保 List/Put/Get 性能的穩定,不隨數據量增加而抖動,在海量非結構化數據場景下保持一致高效的訪問體驗。
萬億級對象擴展能力萬億級對象擴展能力
智能數據流動引擎
數據的分層遷移不再需要外部掃描程序。XScale 利用 KV 的 Range Scan(范圍掃描) 能力,可以根據策略識別冷熱數據,并驅動數據在 NVMe(熱)、HDD(溫)、藍光/磁帶/公有云(冷)之間自動流轉。
智能數據流動引擎智能數據流動引擎
小文件歸并
針對非結構化存儲的海量小文件場景,XScale 接入層將其聚合為大塊寫入,并在內部 KV 引擎中記錄每個小文件的 <Offset, Length> 映射。這既保證了 HDD 的順序寫性能,又保留了每個小文件的獨立尋址能力,讀寫效率提升數倍。
小文件歸并小文件歸并
極速生命周期管理
利用 KV 內核的高效查詢,XScale 執行生命周期策略(如過期刪除、轉冷)的速度比傳統文件系統遍歷快幾個數量級,真正做到了 EB 級數據的“管得住”。
極速生命周期管理極速生命周期管理
冷數據元數據歸檔
支持將冷對象的“元數據”從 KV 引擎轉儲到低成本的數據池,顯著降低冷對象的元數據存儲占用,降低綜合成本。
冷數據元數據歸檔冷數據元數據歸檔
XEOS:基于 XScale 的分布式對象存儲系統
XEOS 通過采用 XScale 的分布式事務型 KV 內核,在可擴展性、檢索治理能力與穩定性方面實現了整體代際升級,成為更加智能、高效的對象存儲系統。
海量對象的穩定管理能力
  • 支持千億級單桶、萬億級系統規模,索引性能隨節點線性擴展。
  • List / Put / Get 性能在大規模下保持穩定,無傳統對象存儲的抖動與下降。
多維元數據利用與數據治理增強
  • 基于 Tags、User Metadata、atime 等字段實現對象生命周期管理。
  • 內核級冷熱識別提高生命周期策略(ILM)執行效率,無需外部掃描服務。
小文件友好:AI 訓練加速
  • 依托 XScale 的偏移映射能力,小文件聚合寫入并保持獨立尋址。
  • 無論是 NVMe 還是 HDD 上,都顯著提升訓練樣本的讀取吞吐。
數據湖與 AI 工作負載友好
  • 加速 Iceberg / S3 Table 等元數據訪問場景,為計算與分析型數據湖提供高效底座。
  • 更適配 AI 訓練對小文件、高吞吐、多并行訪問模式的需求。
查看詳情
XEOS 架構示意圖
數據常青,智領未來
即刻申請,獲 30 天免費使用
在線咨詢
快速響應您的問題
工作日: 9:00 ~ 18:00
官方微信