CRC文件校验

CRC文件校验

文件在下载的时候,除了需要下载的文件在外,生成一个crc的文件。

crc校验文件作用:用于校验下载的文件数据是否是完整的。校验数据的完整性
如何校验的:
数据的实际的块存储目录:
/home/hadoop/data/hadoopdata/dfs/data/current/BP-1178107398-192.168.2.111-1578828981899/current/finalized/subdir0/subdir0
如果有一个块是完整的,校验通过, 完整的块下载的。如果文件都损坏,则校验不通过。

案例:

package com.lee.crc;


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestCRC {
	public static void main(String[] args) throws IOException {
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop112:9000");
		FileSystem fs= FileSystem.get(conf);
		fs.copyToLocalFile(new Path("/jasper/redis-5.0.5.tar.gz"), new Path("E:\\testcrc"));
		
		fs.close();
	}
}

CRC文件校验CRC文件校验 jsperlee 发布了27 篇原创文章 · 获赞 0 · 访问量 705 私信 关注
上一篇:CRC源码生成工具


下一篇:如何在宿舍中自己组网玩联机游戏(MAC、ip、CRC)——组队开黑联机走起