安卓中SHA1哈希实现存在的问题

Question

我有两个用于计算SHA1的小代码片段。

其中一个非常快，但似乎不正确，另一个非常慢但是正确。
我认为将FileInputStream转换为ByteArrayInputStream可能是问题所在。

快速版本：

MessageDigest md = MessageDigest.getInstance("SHA1");
FileInputStream fis = new FileInputStream("path/to/file.exe");
ByteArrayInputStream byteArrayInputStream =
    new ByteArrayInputStream(fis.toString().getBytes());
DigestInputStream dis = new DigestInputStream(byteArrayInputStream, md);
BufferedInputStream bis = new BufferedInputStream(fis);
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();

int ch;
while ((ch = dis.read()) != -1) {
    byteArrayOutputStream.write(ch);
}

byte[] newInput = byteArrayOutputStream.toByteArray();
System.out.println("in digest : " +
    byteArray2Hex(dis.getMessageDigest().digest()));

byteArrayOutputStream = new ByteArrayOutputStream();
DigestOutputStream digestOutputStream =
    new DigestOutputStream(byteArrayOutputStream, md);
digestOutputStream.write(newInput);

System.out.println("out digest: " +
    byteArray2Hex(digestOutputStream.getMessageDigest().digest()));
System.out.println("length: " + 
    new String(
        byteArray2Hex(digestOutputStream.getMessageDigest().digest())).length());

digestOutputStream.close();
byteArrayOutputStream.close();
dis.close();

慢速版本：

MessageDigest algorithm = MessageDigest.getInstance("SHA1");
FileInputStream fis = new FileInputStream("path/to/file.exe");
BufferedInputStream bis = new BufferedInputStream(fis);
DigestInputStream   dis = new DigestInputStream(bis, algorithm);

// read the file and update the hash calculation
while (dis.read() != -1);

 // get the hash value as byte array
byte[] hash = algorithm.digest();

转换方法：

private static String byteArray2Hex(byte[] hash) {
    Formatter formatter = new Formatter();
    for (byte b : hash) {
        formatter.format("%02x", b);
    }
    return formatter.toString();
}

我希望能有其他的解决方案来使它运行，因为我需要更好的性能。

- CSchulz

Answer 1

我使用了高性能的C++实现，并通过JNI进行加载。更多细节请留言。

编辑:
要求JNI需要Android NDK。对于Windows来说，还需要cygwin或类似的东西。
如果您决定使用cygwin，我将给出一些小提示如何将其与NDK配合使用：

1. 从cygwin下载setup.exe并执行它。
2. 点击下一步并选择从Internet安装，并确认下一步。
3. 接下来的两个步骤可以根据需要进行调整，然后像以往一样点击下一步。
4. 选择您的互联网连接，然后按照最后阶段的相同程序操作。
5. 一个下载页面会引起注意，选择它或者只是一个在您国家的下载页面。没有什么好说的了。
6. 我们需要make和gcc-g++包。您可以使用左上角的搜索功能找到它们，点击Skip直到显示版本并选择第一个字段。之后做我们选择时常做的事情。
7. 您将得到必须解决依赖项的信息。通常您不需要自己做，只需确认即可。
8. 下载和安装开始。
9. 如果需要，可以创建快捷方式，否则请点击完成。
10. 下载zip文件并提取NDK到一个不含空格的路径。
11. 现在可以启动cygwin了。
12. 导航到NDK。路径/cydrive给出所有可用驱动器，例如cd /cygdrive/d导航到具有字母D的驱动器。
13. 在NDK的根目录中，您可以使用./ndk-build执行文件ndk-build。应该会出现一个错误，如：Android NDK: Could not find application project directory !。
    您必须导航到Android项目中才能执行该命令。因此，让我们从一个项目开始。

在我们开始项目之前，请搜索哈希算法的C/C++实现。我从这个网站CSHA1中获取了代码。
您应该编辑源代码以满足您的要求。

现在我们可以开始JNI了。
在您的Android项目中创建一个名为jni的文件夹。它包含所有本地源文件和Android.mk(稍后会介绍该文件)。
将已下载（和编辑）的源文件复制到该文件夹中。

我的Java包名为de.dhbw.file.sha1，所以我将源文件命名类似以便轻松找到它们。

Android.mk:

LOCAL_PATH := $(call my-dir)

include $(CLEAR_VARS)

LOCAL_LDLIBS := -llog

# How the lib is called?
LOCAL_MODULE    := SHA1Calc
# Which is your main SOURCE(!) file?
LOCAL_SRC_FILES := de_dhbw_file_sha1_SHA1Calc.cpp

include $(BUILD_SHARED_LIBRARY)

Java代码：
我使用了AsyncTask和ProgressDialog来向用户提供有关操作的反馈。

package de.dhbw.file.sha1;

// TODO: Add imports

public class SHA1HashFileAsyncTask extends AsyncTask<String, Integer, String> {
    // [...]

    static {
        // loads a native library
        System.loadLibrary("SHA1Calc");
    }

    // [...]

    // native is the indicator for native written methods
    protected native void calcFileSha1(String filePath);

    protected native int getProgress();

    protected native void unlockMutex();

    protected native String getHash();

    // [...]
}

本地代码（C++）：

记住，在本地代码中访问变量或使用线程时，需要同步，否则会很快出现分段错误！

对于JNI的使用，您需要添加#include < jni.h >。

要记录日志，请插入以下包含#include <android/log.h>。
现在您可以使用__android_log_print(ANDROID_LOG_DEBUG, DEBUG_TAG,“Version [%s]”, “19”);来记录日志。
第一个参数是消息类型，第二个参数是导致该库的内容。
您可以看到我的代码中有一个版本号。这非常有用，因为有时apk构建器不使用新的本机库。如果错误的版本在线上，则故障排除时间可以大大缩短。

本地代码中的命名约定有点疯狂：Java_[package name]_[class name]_[method name]。

前两个参数始终给出，但是根据应用程序的不同，您应该区分：

• func(JNIEnv * env, jobject jobj)-> JNI调用是实例方法
• func(JNIEnv * env, jclass jclazz)-> JNI调用是静态方法

calcFileSha1(...)方法的头文件：
JNIEXPORT void JNICALL Java_de_dhbw_file_sha1_SHA1HashFileAsyncTask_calcFileSha1(JNIEnv * env, jobject jobj, jstring file)

JDK提供了二进制文件javah.exe，用于生成本地代码的头文件。使用非常简单，只需使用完全限定类名调用它：
javah de.dhbw.file.sha1.SHA1HashFileAsyncTask

在我的情况下，我还必须提供bootclasspath，因为我使用Android类：
javah -bootclasspath <path_to_the_used_android_api> de.dhbw.file.sha1.SHA1HashFileAsyncTask

这将是生成的文件：

/* DO NOT EDIT THIS FILE - it is machine generated */
#include <jni.h>
/* Header for class de_dhbw_file_sha1_SHA1HashFileAsyncTask */

#ifndef _Included_de_dhbw_file_sha1_SHA1HashFileAsyncTask
#define _Included_de_dhbw_file_sha1_SHA1HashFileAsyncTask
#ifdef __cplusplus
extern "C" {
#endif
#undef de_dhbw_file_sha1_SHA1HashFileAsyncTask_ERROR_CODE
#define de_dhbw_file_sha1_SHA1HashFileAsyncTask_ERROR_CODE -1L
#undef de_dhbw_file_sha1_SHA1HashFileAsyncTask_PROGRESS_CODE
#define de_dhbw_file_sha1_SHA1HashFileAsyncTask_PROGRESS_CODE 1L
/*
 * Class:     de_dhbw_file_sha1_SHA1HashFileAsyncTask
 * Method:    calcFileSha1
 * Signature: (Ljava/lang/String;)V
 */
JNIEXPORT void JNICALL Java_de_dhbw_file_sha1_SHA1HashFileAsyncTask_calcFileSha1
  (JNIEnv *, jobject, jstring);

/*
 * Class:     de_dhbw_file_sha1_SHA1HashFileAsyncTask
 * Method:    getProgress
 * Signature: ()I
 */
JNIEXPORT jint JNICALL Java_de_dhbw_file_sha1_SHA1HashFileAsyncTask_getProgress
  (JNIEnv *, jobject);

/*
 * Class:     de_dhbw_file_sha1_SHA1HashFileAsyncTask
 * Method:    unlockMutex
 * Signature: ()V
 */
JNIEXPORT void JNICALL Java_de_dhbw_file_sha1_SHA1HashFileAsyncTask_unlockMutex
  (JNIEnv *, jobject);

/*
 * Class:     de_dhbw_file_sha1_SHA1HashFileAsyncTask
 * Method:    getHash
 * Signature: ()Ljava/lang/String;
 */
JNIEXPORT jstring JNICALL Java_de_dhbw_file_sha1_SHA1HashFileAsyncTask_getHash
  (JNIEnv *, jobject);

#ifdef __cplusplus
}
#endif
#endif

文件可以在不另行通知的情况下更改。但请勿再次使用javah！

类和方法
要获取类实例，您可以使用jclass clz = callEnv->FindClass(CALL_CLASS);。在这种情况下，CALL_CLASS是类de/dhbw/file/sha1/SHA1HashFileAsyncTask的完全限定路径。

要查找方法，您需要JNIEnv和类实例：
jmethodID midSet = callEnv->GetMethodID(callClass, "setFileSize", "(J)V"); 第一个参数是类实例，第二个是方法名称，第三个是方法签名。
您可以使用JDK提供的二进制文件javap.exe获取签名。只需使用类的完全限定路径调用它，例如 javap -s de.dhbw.file.sha1.SHA1HashFileAsyncTask。
您将得到如下结果：

Compiled from "SHA1HashFileAsyncTask.java"
public class de.dhbw.file.sha1.SHA1HashFileAsyncTask extends android.os.AsyncTas
k<java.lang.String, java.lang.Integer, java.lang.String> {
  [...]
  static {};
    Signature: ()V

  public de.dhbw.file.sha1.SHA1HashFileAsyncTask(android.content.Context, de.dhb
w.file.sha1.SHA1HashFileAsyncTask$SHA1AsyncTaskListener);
    Signature: (Landroid/content/Context;Lde/dhbw/file/sha1/SHA1HashFileAsyncTas
k$SHA1AsyncTaskListener;)V

  protected native void calcFileSha1(java.lang.String);
    Signature: (Ljava/lang/String;)V

  protected native int getProgress();
    Signature: ()I

  protected native void unlockMutex();
    Signature: ()V

  protected native java.lang.String getHash();
    Signature: ()Ljava/lang/String;

  [...]

  public void setFileSize(long);
    Signature: (J)V

  [...]
}

如果找到了该方法，则变量不等于0。
调用该方法非常简单：

callEnv->CallVoidMethod(callObj, midSet, size);

第一个参数是从“main”方法给定的jobject，其他参数我认为很清楚。

请记住，您可以调用类的私有方法，因为本地代码是该类的一部分！

字符串
给定的字符串将使用以下代码进行转换：

jboolean jbol;
const char *fileName = env->GetStringUTFChars(file, &jbol);

另一种方法：

TCHAR* szReport = new TCHAR;
jstring result = callEnv->NewStringUTF(szReport);

它可以是任何一个char*变量。

异常
可以通过JNIEnv抛出：

callEnv->ThrowNew(callEnv->FindClass("java/lang/Exception"), 
    "Hash generation failed");

您还可以使用JNIEnv检查是否发生了异常：

if (callEnv->ExceptionOccurred()) {
    callEnv->ExceptionDescribe();
    callEnv->ExceptionClear();
}

规格

• Java Native Interface规格

构建/清理

构建
当我们创建了所有文件并填充了内容后，我们可以对其进行构建。
打开cygwin，导航到项目根目录，并从那里执行ndk-build，该文件位于NDK根目录中。
如果编译成功，您将获得类似于以下的输出：

$ /cygdrive/d/android-ndk-r5c/ndk-build
Compile++ thumb  : SHA1Calc <= SHA1Calc.cpp
SharedLibrary  : libSHA1Calc.so
Install        : libSHA1Calc.so => libs/armeabi/libSHA1Calc.so

如果有任何错误，您将从编译器获得典型的输出。

清除
打开cygwin，转到Android项目并执行命令/cygdrive/d/android-ndk-r5c/ndk-build clean。

构建apk
在构建本地库后，您可以构建项目。我发现使用eclipse特性清理项目是有优势的。

调试
Java代码的调试与以前没有区别。
下一步将介绍C++代码的调试。

- CSchulz

---

请问您能提供如何完成这个任务的详细信息吗？ - Matt Wolfe

Answer 2

做这个：

MessageDigest md = MessageDigest.getInstance("SHA1");
InputStream in = new FileInputStream("hereyourinputfilename");
byte[] buf = new byte[8192];
for (;;) {
    int len = in.read(buf);
    if (len < 0)
        break;
    md.update(buf, 0, len);
}
in.close();
byte[] hash = md.digest();

性能来自于按块处理数据。像这里一样的8kB缓冲区应该足够块状了。您不必使用BufferedInputStream，因为8kB缓冲区也可以作为I/O缓冲区。

- Thomas Pornin

---

在我的电脑上很快，但在我的安卓设备上不快。 - CSchulz

@H3llGhost：你得到的MessageDigest实例很可能是纯Java编写的，在Android 2.1设备上，Java在计算密集型任务时速度较慢。据说在2.2及以上版本中情况要好得多（JVM有一个JIT编译器）。你无法改变这种情况。 - Thomas Pornin

谢谢您的建议。我已经在使用2.2版本了。也许我应该寻找基于C++的SHA1函数，并通过JNI调用它们。 - CSchulz

Answer 3

快速但不正确的原因是（我认为）它没有对文件内容进行哈希处理！

FileInputStream fis = new FileInputStream("C:/Users/Ich/Downloads/srware_iron.exe");
ByteArrayInputStream byteArrayInputStream = 
        new ByteArrayInputStream(fis.toString().getBytes());

< p > fis.toString() 调用并不会读取文件的内容。相反，它会给你一个字符串，看起来类似于这样：

"java.io.FileInputStream@xxxxxxxx"

您随后需要计算SHA1哈希值的是文件。 FileInputStream 及其超类未覆盖 Object::toString ...

---

将InputStream的全部内容读取到byte[]中的简单方法是使用Apache Commons I/O助手方法 - IOUtils.toByteArray(InputStream)。

- Stephen C

Answer 4

    public void computeSHAHash(String path)// path to your file
    {
            String SHAHash = null;
    try 
    {
        MessageDigest md = MessageDigest.getInstance("SHA1");
        InputStream in = new FileInputStream(path);
        byte[] buf = new byte[8192];
        int len = -1;
        while((len = in.read(buf)) > 0) 
        {
            md.update(buf, 0, len);
        }
        in.close();
        byte[] data = md.digest();
        try 
        {
           SHAHash = convertToHex(data);
        } 
        catch (IOException e) 
        {
           // TODO Auto-generated catch block
           e.printStackTrace();
        }
    } catch (NoSuchAlgorithmException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    } catch (FileNotFoundException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
      Toast.makeToast(getApplicationContext(),"Generated Hash ="+SHAHash,Toast.LENGTH_SHORT).show();  

   }
 private static String convertToHex(byte[] data) throws java.io.IOException
{
    StringBuffer sb = new StringBuffer();
    String hex = null;

    hex = Base64.encodeToString(data, 0, data.length, NO_OPTIONS);

    sb.append(hex);

    return sb.toString();
}

- Vikrant

---

这里的 convertToHex 完全错误。Base64 不是十六进制。十六进制是基于16的。 - Dmitry Ratty