Python和C＃中的文本哈希技巧产生不同的结果

Question

Python和C＃中的文本哈希技巧产生不同的结果

c#pythonnlp

3

我正在尝试将一个已训练的模型移植到生产环境中，并在尝试在C#中复制Keras hashing_trick()函数的行为时遇到了问题。当我尝试对句子进行编码时，C#中的输出与Python中的输出不同：

文本："Information - The configuration processing is completed."

Python：[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 217 142 262 113 319 413]

C#：[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 433, 426, 425, 461, 336, 146, 52]

（从调试器中复制，两个序列长度均为30）

我的尝试：

1. 将C#中文本字节的编码更改为与Python string.encode()函数默认值（UTF8）相匹配

2. 更改字母的大小写

3. 尝试使用Convert.ToUInt32代替BitConverter（结果导致溢出错误）

我的代码（如下）是我实现Keras hashing_trick函数的方式。给定一个输入句子，然后该函数将返回相应的编码序列。

public uint[] HashingTrick(string data)
    {
        const int VOCAB_SIZE = 534; //Determined through python debugging of model
        var filters = "!#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n".ToCharArray().ToList();
        filters.ForEach(x =>
        {
            data = data.Replace(x, '\0');
        });
        string[] parts = data.Split(' ');
        var encoded = new List<uint>();
        parts.ToList().ForEach(x =>
        {

            using (System.Security.Cryptography.MD5 md5 = System.Security.Cryptography.MD5.Create())
            {
                byte[] inputBytes = System.Text.Encoding.UTF8.GetBytes(x);
                byte[] hashBytes = md5.ComputeHash(inputBytes);


                uint val = BitConverter.ToUInt32(hashBytes, 0);
                encoded.Add(val % (VOCAB_SIZE - 1) + 1);
            }
        });
        return PadSequence(encoded, 30);

    }
    private uint[] PadSequence(List<uint> seq, int maxLen)
    {
        if (seq.Count < maxLen)
        {
            while (seq.Count < maxLen)
            {
                seq.Insert(0, 0);
            }
            return seq.ToArray();
        }
        else if (seq.Count > maxLen)
        {
            return seq.GetRange(seq.Count - maxLen - 1, maxLen).ToArray();
        }
        else
        {
            return seq.ToArray();
        }
    }

您可以在此处找到keras实现的哈希技巧：这里

如果有帮助的话，我正在使用ASP.NET Web API作为我的解决方案类型。

- Michael George

2个回答

0

与其试图解决使用C#进行哈希的问题，我采用了一种不同的方法来解决这个问题。在创建我的数据集以训练模型时（毕竟这是一个机器学习项目），我决定使用@Jeron Mostert的哈希函数实现对数据集进行预哈希处理，然后再将其馈送到模型中。

这种方法更容易实现，并最终与原始文本哈希一样有效。对于那些像我一样尝试进行跨语言哈希的人，建议别这么做，这会给你带来很多麻烦！使用一种语言对文本数据进行哈希，并找到一种方式来创建一个包含所有所需信息的有效数据集。

- Michael George

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Jeroen Mostert · Accepted Answer

你的代码最大的问题在于没有考虑到Python的int是任意精度整数，而C#的uint只有32位。这意味着Python在所有128位的哈希上计算模数，而C#则不会（而且BitConverter.ToUInt32无论如何都是错误的事情，因为字节顺序是错误的）。另一个让你困惑的问题是，在C#中，\0不能终止字符串，而将\0添加到MD5哈希中会改变结果。

int[] hashingTrick(string text, int n, string filters, bool lower, string split) {
    var splitWords = String.Join("", text.Where(c => !filters.Contains(c)))
        .Split(new[] { split }, StringSplitOptions.RemoveEmptyEntries);

    return (
        from word in splitWords
        let bytes = Encoding.UTF8.GetBytes(lower ? word.ToLower() : word)
        let hash = MD5.Create().ComputeHash(bytes)
        // add a 0 byte to force a non-negative result, per the BigInteger docs 
        let w = new BigInteger(hash.Reverse().Concat(new byte[] { 0 }).ToArray())
        select (int) (w % (n - 1) + 1)
    ).ToArray();
}

示例用法：

const int vocabSize = 534;
Console.WriteLine(String.Join(" ",
    hashingTrick(
        text: "Information - The configuration processing is completed.",
        n: vocabSize,
        filters: "!#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n",
        lower: true,
        split: " "
    ).Select(i => i.ToString())
));

217 142 262 113 319 413

这段代码存在多种低效：使用LINQ过滤字符与使用StringBuilder相比非常低效，而且我们这里并不需要BigInteger，因为MD5始终是恰好128位，但优化（如果必要）留给读者自己思考，填充结果的工作也是一样（您已经有一个函数可以完成此任务）。