有没有标准的方法来做这个？
通过谷歌搜索 -- "approximate entropy" bits -- 可以找到多篇学术论文，但我只想找到一段伪代码，用于定义任意长度的位串的近似熵。
(如果这比说起来容易得多，并且取决于应用程序，我的应用程序涉及16,320个加密数据 (密文)。虽然是作为谜题加密的，但并不意味着不可能破解。我想先检查熵，但很难找到一个好的定义。所以这似乎是一个应该在StackOverflow上提问的问题！如果有关解密这16k看起来随机的位的想法，也欢迎分享...)
另请参阅相关问题：
计算机科学中熵的定义是什么？
熵并不是你所得到的字符串本身的属性，而是你本可以获得的字符串的性质。换句话说，它描述了生成该字符串的过程。
在简单情况下，你从一个包含N个可能字符串的集合中获得一个字符串，其中每个字符串被选中的概率相同，即1/N。在这种情况下，该字符串的熵为N。熵通常用位表示，它是一个对数尺度: “n位”熵是等于2n的熵。
例如：我喜欢将我的密码生成为两个小写字母、两个数字、两个小写字母和最后两个数字 (例如 va85mw24)。字母和数字是随机、均匀且彼此独立地选择的。此过程可产生4569760000个不同的密码，并且所有这些密码被选择的机会相等。这样一个密码的熵就是4569760000，大约是32.1位。
香农熵方程是标准的计算方法。以下是一个简单的Python实现，它毫不掩饰地从Revelation代码库中复制而来，并因此获得GPL许可：
import math
def entropy(string):
"Calculates the Shannon entropy of a string"
# get probability of chars in string
prob = [ float(string.count(c)) / len(string) for c in dict.fromkeys(list(string)) ]
# calculate the entropy
entropy = - sum([ p * math.log(p) / math.log(2.0) for p in prob ])
return entropy
def entropy_ideal(length):
"Calculates the ideal Shannon entropy of a string with given length"
prob = 1.0 / length
return -1.0 * length * prob * math.log(prob) / math.log(2.0)
请注意，此实现假定您的输入比特流最好表示为字节。这可能与您的问题域有关，也可能不相关。您真正想要的是将比特流转换为数字字符串。如何决定这些数字取值是特定于领域的。如果您的数字只是1和0，则将比特流转换为一个由1和0组成的数组。但您选择的转换方法将影响您得到的结果。
entropy_ideal(string)并将length的两个实例替换为len(set(string)) - 假设使用了所有可能的字符。它也可以很容易地成为手动输入。 - Xodarap777http://csrc.nist.gov/groups/ST/toolkit/rng/documentation_software.html
import math
from collections import Counter
def entropy(s):
l = float(len(s))
return -sum(map(lambda a: (a/l)*math.log2(a/l), Counter(s).values()))
import numpy as np
def ApEn(U, m, r):
def _maxdist(x_i, x_j):
return max([abs(ua - va) for ua, va in zip(x_i, x_j)])
def _phi(m):
x = [[U[j] for j in range(i, i + m - 1 + 1)] for i in range(N - m + 1)]
C = [len([1 for x_j in x if _maxdist(x_i, x_j) <= r]) / (N - m + 1.0) for x_i in x]
return -(N - m + 1.0)**(-1) * sum(np.log(C))
N = len(U)
return _phi(m) - _phi(m + 1)
例子：
>>> U = np.array([85, 80, 89] * 17)
>>> ApEn(U, 2, 3)
-1.0996541105257052e-05
字母和数字是随机、均匀且相互独立地选择的。-- 因此任何组合都是有效的，甚至像“00000000”之类的字符串也是如此。 - specializt