深圳热线

KFS中的Chunk服务器是?Chunk服务器的主要特点是?

2023-04-28 11:15:12 来源:创视网

KFS中的Chunk 服务器

在KFS中,一个文件被分割成多个Chunk,每个Chunk大小固定为 64MB,所以可以通过简单的模运算计算出某文件偏移量在该文件第几个Chunk 的多少偏移量上。每个Chunk 由一个全局唯一的 Chunk 号来标识。Chunk 服务器主要的功能就是保存 Chunk,并对外提供创建、删除、读写Chunk 的访问接口。一个 Chunk 默认被复制成3份,保存在3个不同的 Chunk 服务器中,客户端可以为每个文件指定不同的副本个数。三副本就保证了在两个 Chunk 服务器故障的情况下,仍能从第三个 Chunk 服务器上的副本读出数据,提高了系统的可靠性。在 Chunk 数据写入时,若某个 Chunk 服务器突然故障,会导致的相应副本更新失败,进而影响 Chunk 各副本数据的一致性。为了解决这个问题,KFS为每个 Chunk 副本分配一个版本号,副本每被更新一次则版本号上升,这样就可以通过比较版本号来发现过期的副本。Chunk 服务器中,单个 Chunk 由一个文件来表示,这些Chunk 文件被保存在本地的文件系统中,文件系统可以是XFS、Ext3/4 等。每个 Chunk 文件除了保存数据外,其头部还保存了 16KB 大小的校验和信息:写数据时,为每个64K数据块计算一个32 位校验和(Adler-32 算法),保存至 Chunk文件头部;读数据时,首先验证读出数据的校验和,这就保证了本地磁盘保存数据时可能发生的数据损坏可以被检查出来。

Chunk服务器的主要特点是?

(1) 目录项信息:KFS 采用传统的目录结构命名空间,目录树中的所有节点(文件和目录),均由一个全局唯一的文件号来标识,根目录的文件号固定为 2,目录项信息指的是目录树中各目录所包含的各目录项(可以是子目录或文件)的名称及文件 ID[6];

(2) 属性信息:各目录、文件的创建、修改时间,及文件的副本数、大小[6];

(3) Chunk 信息:一个文件依次由哪些 Chunk 组成的;[6]

(4) 位置信息:Chunk 的各个副本的被保存在哪个Chunk服务器上;[6]

(5) 租约信息:KFS 采用租约来维持多个客户端情况下数据的一致性,这些租约信息由元数据服务器统一管理

关键词: KFS中的 Chunk服务器 Chunk服务器的

热门推荐