HDFS文件校验和

Question

HDFS文件校验和

8

我正在尝试使用Hadoop API - DFSCleint.getFileChecksum()将文件复制到HDFS后检查其一致性。

对于上述代码，我得到了以下输出：

Null
HDFS : null
Local : null

有人能指出错误或错误吗？以下是代码：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileChecksum;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;


public class fileCheckSum {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub

        Configuration conf = new Configuration();

         FileSystem hadoopFS = FileSystem.get(conf);
    //  Path hdfsPath = new Path("/derby.log");

        LocalFileSystem localFS = LocalFileSystem.getLocal(conf);
    //      Path localPath = new Path("file:///home/ubuntu/derby.log");


    //  System.out.println("HDFS PATH : "+hdfsPath.getName());
    //      System.out.println("Local PATH : "+localPath.getName());

        FileChecksum hdfsChecksum = hadoopFS.getFileChecksum(new Path("/derby.log"));
        FileChecksum localChecksum = localFS.getFileChecksum(new Path("file:///home/ubuntu/derby.log"));


        if(null!=hdfsChecksum || null!=localChecksum){
            System.out.println("HDFS Checksum : "+hdfsChecksum.toString()+"\t"+hdfsChecksum.getLength());
            System.out.println("Local Checksum : "+localChecksum.toString()+"\t"+localChecksum.getLength());

            if(hdfsChecksum.toString().equals(localChecksum.toString())){
                System.out.println("Equal");
            }else{
                System.out.println("UnEqual");

            }
        }else{
            System.out.println("Null");
            System.out.println("HDFS : "+hdfsChecksum);
            System.out.println("Local : "+localChecksum);

        }

    }

}

- Pradeep Bhadani

为什么HDFS文件的校验和是NULL？ - Pradeep Bhadani

有没有其他方法可以计算HDFS上文件的MD5校验和（我正在使用hadoop 0.20，CDH3u3）。另外，有人能否为CDH4.1（MRv1）建议相同的函数。 - Pradeep Bhadani

2个回答

0

尝试一下。我已经计算了本地和HDFS文件的MD5，然后比较了这两个文件的相等性。希望这会有所帮助。

public static void compareChecksumForLocalAndHdfsFile(String sourceHdfsFilePath, String sourceLocalFilepath, Map<String, String> hdfsConfigMap)
        throws Exception {
    System.setProperty("HADOOP_USER_NAME", hdfsConfigMap.get(Constants.USERNAME));
    System.setProperty("hadoop.home.dir", "/tmp");
    Configuration hdfsConfig = new Configuration();
    hdfsConfig.set(Constants.USERNAME, hdfsConfigMap.get(Constants.USERNAME));
    hdfsConfig.set("fsURI", hdfsConfigMap.get("fsURI"));
    FileSystem hdfs = FileSystem.get(new URI(hdfsConfigMap.get("fsURI")), hdfsConfig);
    Path inputPath = new Path(hdfsConfigMap.get("fsURI") + "/" + sourceHdfsFilePath);
    InputStream is = hdfs.open(inputPath);
    String localChecksum = getMD5Checksum(new FileInputStream(sourceLocalFilepath));
    String hdfsChecksum = getMD5Checksum(is);
    if (null != hdfsChecksum || null != localChecksum) {
        System.out.println("HDFS Checksum : " + hdfsChecksum.toString() + "\t" + hdfsChecksum.length());
        System.out.println("Local Checksum : " + localChecksum.toString() + "\t" + localChecksum.length());

        if (hdfsChecksum.toString().equals(localChecksum.toString())) {
            System.out.println("Equal");
        } else {
            System.out.println("UnEqual");
        }
    } else {
        System.out.println("Null");
        System.out.println("HDFS : " + hdfsChecksum);
        System.out.println("Local : " + localChecksum);
    }
}

public static byte[] createChecksum(String filename) throws Exception {
    InputStream fis = new FileInputStream(filename);

    byte[] buffer = new byte[1024];
    MessageDigest complete = MessageDigest.getInstance("MD5");
    int numRead;

    do {
        numRead = fis.read(buffer);
        if (numRead > 0) {
            complete.update(buffer, 0, numRead);
        }
    } while (numRead != -1);

    fis.close();
    return complete.digest();
}

// see this How-to for a faster way to convert
// a byte array to a HEX string
public static String getMD5Checksum(String filename) throws Exception {
    byte[] b = createChecksum(filename);
    String result = "";

    for (int i = 0; i < b.length; i++) {
        result += Integer.toString((b[i] & 0xff) + 0x100, 16).substring(1);
    }
    return result;
}

输出：

HDFS Checksum : d99513cc4f1d9c51679a125702bd27b0    32
Local Checksum : d99513cc4f1d9c51679a125702bd27b0   32
Equal

- Ravi Shankar

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- omid · Accepted Answer

由于您没有在 conf 上设置远程地址并且基本上使用相同的配置，因此 hadoopFS 和 localFS 都指向 LocalFileSystem 的一个实例。

LocalFileSystem 没有实现 getFileChecksum 并返回 null。虽然 DistributedFileSystem 应该可以工作，如果您的 conf 指向分布式集群，FileSystem.get（conf） 应该会返回一个 DistributedFileSystem 实例，它返回大小为 bytes.per.checksum 的块的MD5的MD5的CRC32校验和。这个值取决于块大小和集群范围的配置，即bytes.per.checksum。这就是为什么这两个参数也被编码在分布式校验和的返回值中作为算法的名称：MD5-of-xxxMD5-of-yyyCRC32，其中xxx是每个块的CRC校验和数量，yyy 是bytes.per.checksum参数。

getFileChecksum 不设计用于跨文件系统进行比较。尽管可以在本地模拟分布式校验和，或手动创建映射 - 减少作业以计算本地哈希的等效值，但建议依靠 Hadoop 自己的完整性检查，这些检查在将文件写入或从 Hadoop 读取时发生。