对于一个 m x n 矩阵，如何最优（最快）地计算所有列对（n x n）的互信息？ 通过 互信息，我的意思是： I(X, Y) = H(X) + H(Y) - H(X,Y) 其中，H(X) 是指 X 的香农熵。 目前，我正在使用 np.histogram2d 和 np.histog...

我最近在大学开始了一门数据压缩课程。然而，我发现在计算机科学中使用的“熵”一词有些模糊不清。据我所知，它大致相当于系统或结构的“随机性”。 计算机科学中“熵”的恰当定义是什么？

有没有标准的方法来做这个？ 通过谷歌搜索 -- "approximate entropy" bits -- 可以找到多篇学术论文，但我只想找到一段伪代码，用于定义任意长度的位串的近似熵。 (如果这比说起来容易得多，并且取决于应用程序，我的应用程序涉及16,320个加密数据 (密文)。虽然是...

我有两张黑白图片，需要计算它们的互信息。Image 1 = X Image 2 = Y 我知道互信息可以定义为：MI = entropy(X) + entropy(Y) - JointEntropy(X,Y) MATLAB已经内置了用于计算熵的函数，但没有用于计算联合熵的函数。我想真正的问题...

信息增益的值有可能是负数吗？

假设你在接下来的10年里可以随意使用全世界所有的超级计算机。你的任务是尽可能地无损压缩10部完整电影。另一个条件是，一台普通的计算机应该能够实时解压缩，并且不需要花费太多硬盘空间来安装解压缩软件。 我的问题是，相比现有的最佳解决方案，你能够实现多少更高的压缩率呢？1%、5%还是50%？更具体...

[Frontmatter] (如果您只想要问题，可以跳过这部分): 我目前正在研究使用Shannon-Weaver Mutual Information和normalized redundancy来衡量离散和连续特征值之间的信息屏蔽程度，这些特征值按特征组织。使用这种方法，我的目标是构建一...

我有一组随机生成的正式图形，想计算每个图形的熵。换句话说，我有几个网络，想计算每个网络的信息量。 以下是两个包含图形熵正式定义的来源： http://www.cs.washington.edu/homes/anuprao/pubs/CSE533Autumn2010/lecture4.pdf ...

Jeff Atwood最近在推特上分享了一篇CodeReview的帖子，他想知道社区能否改进他的“计算字符串熵的代码”。他解释说：“我们在Stack Overflow的一些地方计算字符串熵作为低质量的标志。” 他的方法的要点似乎是如果计算字符串中唯一字符的数量，那就表示熵（代码取自Piete...

我在解释熵包中的mi.plugin()（或mi.empirical()）函数结果时遇到了问题。据我所知，如果MI=0，则说明您比较的两个变量是完全独立的；随着MI增加，两个变量之间的关联越来越不随机。 那么，当我在R中运行以下内容时（使用{entropy}软件包）为什么会得到0的值： mi...