Hugging Face 釋出 Storage Buckets 可變儲存服務
MMetaEra
3 月 18 日(UTC+8),Hugging Face 近日宣佈推出 Storage Buckets,這是一種類似 Amazon S3 的可變儲存服務。
據其介紹,該服務旨在解決 Git 在處理高吞吐量 AI 工作負載(如檢查點、處理後的資料、智慧體軌跡和日誌)時的不足。Storage Buckets 提供快速的寫入、覆蓋和目錄同步功能。
其底層由 Xet 重複資料刪除技術驅動,使得連續的檢查點可以跳過已存在的位元組,從而提升效率。
[InFoQ]