资源说明:linux环境下大数据:
HDFSZ在写入数据的时候会计算数据的校验和,针对每个由dfs.bytes.per.checksum指定字节的数据计算校验和,默认为512个字节
当客户端读取数据的时候,会对数据的校验和进行检查,如果发现数据出现损坏,则会执行以下步骤:
1.向Namenode报告其正在读取的数据块和所在的Datanode,之后会抛出ChecksumException异常
2.Namenode会将高数据块标记为损坏,让其不再处理请求,或者将该数据块复制到其他节点上
3.Namenode安排该数据块的其他完整的副本复制一份到其他完好的节点上,如此系统中的副本数恢复到期望值
在使用FileSystem的open方法之前,可以通过setVerifyChecksum(false)方法将校验过程停用
本源码包内暂不包含可直接显示的源代码文件,请下载源码包。