數普 CF8000系列分布式文件系統

2019-03-21

1. 概述
傳統的 NAS 存儲，通常會有 2 到 4 個機頭，當業務持續增長后，尤其是連接數比較多時，機頭的有限網絡帶寬和處理能力會成為性能的瓶頸。而且 NAS 本身是一個單點，如果
NAS 故障，數據會長時間無法訪問，甚至丟失。而如果要做數據備份，則需要高昂的費用并且進一步消耗有限的帶寬，這對于大部分企業是不可接受的，因此分布式存儲有了施展拳腳的地方。
當前主流的分布式文件存儲分為兩類，一類是以 GlusterFS 為代表，基于一致性哈希計算文件存放位置，沒有元數據服務器；另外一類是以 MooseFS/HDFS 為代表，采用元數據服務器來存放文件位置信息。兩者都存在很大的弊端。
對于采用一致性哈希的 GlusterFS，第一，GlusterFS 適用于大文件的讀寫，對小文件的操作不太友好，尤其是海量小文件的讀寫和查找，數據訪問效果非常差；第二，一致性哈希雖然能夠做到自動故障恢復，但是故障恢復所引發的數據流量會影響整個集群，導致集群的延遲不可控，Ceph 也存在同樣的問題，無法保證在集群出現恢復時 IO 的延遲；第三，一致性哈希帶來的另外一個問題是無法支持異構，服務器和磁盤必須是相同配置，否則會存在短板效應，容量和性能都會受限于最小的節點；第四，磁盤空間管理不均勻，一致性哈希理論上是能夠保證數據均勻分布到各個節點，但是由于虛擬節點數的選擇，在使用過程中，往往磁盤使用空間會有很大差異，不均衡度甚至能夠達到 30%-50%，Ceph 的crush 算法也存在同樣的問題。
對于采用元數據的 MooseFS/HDFS，元數據節點都是采用 master/slave 的主備模式，在這種場景下，元數據節點就會成為集群的容量和性能瓶頸，能夠支撐的集群容量和小文件性能都會受制于 master。MooseFS/HDFS 為了能夠提供更大的集群容量，只能選擇把文件切換大塊，64M 或者 128M，這對小文件非常不友好，造成很大的空間浪費。
數普CF8000是數普自研的一款分布式文件存儲，提供標準的 POSIX 接口。數普CF8000采用分布式架構，支持容量和性能的水平擴展，最多可以支撐上萬個 client 同時訪問。數普CF8000可以部署在普通的 x86 服務器上，支持主流的 Windows系統和LINUX 操作系統（CentOS，Redhat，SUSE）。數普CF8000的基本思想是將所有服務器上的磁盤進行統一管理，提供統一命名空間的文件存儲。數普CF8000具備以下特點：
1. 高可靠，數普CF8000支持文件分片和鏡像，同時底層磁盤組成 RAID5，為數據提供了雙保險，保證數據在磁盤故障，節點故障都不會丟失。
2. 高可用，數普CF8000支持磁盤故障和節點故障自動檢測機制，當磁盤發生故障，底層RAID5 會保證提供持續的數據服務；當節點發生故障，文件鏡像機制會保證有一份數據仍然可用。

3. 高安全，支持Microsoft Active Directory，OpenLDAP。
4. 靈活擴展，數普CF8000支持目錄級別的磁盤配置，每一級目錄都可以單獨設置磁盤配置，當添加磁盤或者節點后，只需要重新設置目錄的磁盤配置，新的文件即可享受集群擴容后帶來的容量和性能擴展。
5. 高性能，數普CF8000支持文件切片，保證大文件的隨機讀寫性能，數普CF8000的元數據集群是分布式架構，保證了小文件的讀寫性能。隨集群規模線性增長，在 100Gb 帶寬網絡+NVMe 高性能磁盤集群中，可達百 GB/s。
6. 分層存儲，數普CF8000可以在一個命名空間中提供基于不同介質組成的存儲資源池，高性能資源池既可以當作緩存來用，也可以持久化數據。
7. 目錄/文件策略，數普CF8000支持目錄/文件級別的文件策略，可以根據需求，對目錄/文件指定分片和鏡像策略，保證重要數據的高可靠，又可以保證非重要數據不會占用過多存儲資源。
8. 支持1Gb/10Gb/25Gb/50Gb/100Gb以太網、RDMA（RoCE）、InfiniBand 協議。

2. 部署架構
數普CF8000由 4 個角色組成：集群管理角色（MS），元數據管理（MDS），數據管理（OSS）和客戶端（CLIENT）。在部署的時候，可以選擇分離結構也可以選擇混合部署。最少需要 2臺服務器，保證各個角色的高可用。結構圖如下：

組件和架構：

最小規模 2 臺服務器，可水平擴展

MS：集群管理服務，通常運行在2-3臺服務器上
MDS：元數據服務，可運行在 SSD 或NVMe介質，主要負責數據定位等工作，根據集群文件數量可隨時水平擴展。
Storage：數據存儲服務，可運行在 SAS / SATA / SSD / NVMe 磁盤上，存儲實際數據
集群在部署、擴容時自動將MDS和Storage進行配對，用于進行副本復制
客戶端通過以太網絡或 InfiniBand 訪問

支持RAID1 + 雙副本數據保護機制

高擴展性 + 海量文件支持
機器學習必須基于海量數據，是 AI 業界的統一共識，擴展性和海量文件支持至關重要
數普分布式存儲：
存儲支持 1024 個節點，元數據支持 256 個節點
支持 10000+ 以太網客戶端，2000+ RDMA 客戶端
每 400GB 元數據空間，可支持 1 億文件
單集群可支持千億級別文件規模

單集群可支持10PB以上容量
元數據分布使用動態子樹算法，避免數據訪問熱點

RAID0/5/6 + 雙副本，或RAID5/6 + 單副本，數據可靠性可達9個9

特色功能——容器支持