HDFS 纠删码 – 西门飞冰的博客

1.纠删码介绍

HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，通过计算生成数据单元+计算单元的存储的方式，可以节省约50％左右的存储空间，这种存储方式同样也可以容忍集群中最多出现两台服务器同时宕机（注意：不同策略，允许的最多宕机节点不同）。

2.纠删码策略

RS-3-2-1024k：使用RS编码，每3个数据单元，生成2个校验单元，共5个单元，也就是说：这5个单元中，只要有任意的3个单元存在（不管是数据单元还是校验单元，只要总数=3），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-10-4-1024k：使用RS编码，每10个数据单元（cell），生成4个校验单元，共14个单元，也就是说：这14个单元中，只要有任意的10个单元存在（不管是数据单元还是校验单元，只要总数=10），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-6-3-1024k：使用RS编码，每6个数据单元，生成3个校验单元，共9个单元，也就是说：这9个单元中，只要有任意的6个单元存在（不管是数据单元还是校验单元，只要总数=6），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-LEGACY-6-3-1024k：策略和上面的RS-6-3-1024k一样，只是编码的算法用的是rs-legacy。

XOR-2-1-1024k：使用XOR编码（速度比RS编码快），每2个数据单元，生成1个校验单元，共3个单元，也就是说：这3个单元中，只要有任意的2个单元存在（不管是数据单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

Hdfs 默认使用 RS-6-3-1024k 策略

3.纠删码使用命令

hdfs ec //获取纠删码使用操作

4.纠删码使用

纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。

注意：在非空目录上使用纠删码策略不会对现有文件转换纠删码策略，还是维持原有三副本策略，只有新上传的文件才会使用纠删码

默认只开启对RS-6-3-1024k策略的支持，如要使用别的策略需要提前启用。

需求：将/tmp/haha目录设置为RS-3-2-1024k策略

1、开启对RS-3-2-1024k策略的支持

hdfs ec -enablePolicy -policy RS-3-2-1024k

2、对/tmp/haha设置RS-3-2-1024k策略

hdfs ec -setPolicy -path /tmp/haha -policy RS-3-2-1024k

3、查看文件编码后的存储情况

[root@hadoop01 ~]# hdfs dfs -ls /tmp/haha/
Found 1 items
-rw-r--r--   1 root root  338075860 2022-10-15 00:40 /tmp/haha/hadoop-3.1.3.tar.gz
[root@hadoop01 ~]# hdfs dfs -du -s -h /tmp/haha/hadoop-3.1.3.tar.gz
322.4 M  538.4 M  /tmp/haha/hadoop-3.1.3.tar.gz

可以看到对目录设置纠删码之后，一个322MB文件占用的总空间大小只有538MB，说明纠删码策略配置成功