假设你在接下来的10年里可以随意使用全世界所有的超级计算机。你的任务是尽可能地无损压缩10部完整电影。另一个条件是，一台普通的计算机应该能够实时解压缩，并且不需要花费太多硬盘空间来安装解压缩软件。 我的问题是，相比现有的最佳解决方案，你能够实现多少更高的压缩率呢？1%、5%还是50%？更具体...

有没有标准的方法来做这个？ 通过谷歌搜索 -- "approximate entropy" bits -- 可以找到多篇学术论文，但我只想找到一段伪代码，用于定义任意长度的位串的近似熵。 (如果这比说起来容易得多，并且取决于应用程序，我的应用程序涉及16,320个加密数据 (密文)。虽然是...

让我澄清一下，我的意思不是指一个算法能够压缩任何给定的源材料，我意识到这是不可能的。我想表达的是，有一种算法能够将任何源比特串编码为其绝对最大的压缩状态，由其香农熵确定。 我认为我听说过哈夫曼编码在某种意义上是最优的，因此我认为这种加密方案可能基于此，但这是我的问题： 考虑比特串：a =“...

来自我的算法教材： 每年一次的县级赛马比赛将有三匹从未相互竞争的纯种马参加。你兴奋地研究了它们过去200场比赛，并将其总结为四个结果的概率分布：第一名（“第一名”），第二名，第三名和其他。 Outcome Aurora Whir...

信息模型与本体论的区别是什么？ 它们对我来说看起来很相似。 谢谢！

对于一个 m x n 矩阵，如何最优（最快）地计算所有列对（n x n）的互信息？ 通过 互信息，我的意思是： I(X, Y) = H(X) + H(Y) - H(X,Y) 其中，H(X) 是指 X 的香农熵。 目前，我正在使用 np.histogram2d 和 np.histog...

编辑: 哇，很多很好的回复。是的，我将其用作遗传算法执行排序的质量健身函数。因此，评估成本很重要（即必须快速，最好是O(n)）。 作为我正在玩耍的AI应用程序的一部分，我希望能够根据候选整数数组的单调性（也称为“有序性”）对其进行评分。目前，我使用一种启发式方法来计算最长的排序运行时...

我最近在大学开始了一门数据压缩课程。然而，我发现在计算机科学中使用的“熵”一词有些模糊不清。据我所知，它大致相当于系统或结构的“随机性”。 计算机科学中“熵”的恰当定义是什么？

Jeff Atwood最近在推特上分享了一篇CodeReview的帖子，他想知道社区能否改进他的“计算字符串熵的代码”。他解释说：“我们在Stack Overflow的一些地方计算字符串熵作为低质量的标志。” 他的方法的要点似乎是如果计算字符串中唯一字符的数量，那就表示熵（代码取自Piete...

我知道维基百科和MacKay的信息论、推断和学习算法（作为教材是否合适？）。我正在寻找一本从Shannon熵开始，经过条件熵和互信息的教材... 有什么想法吗？如果你在大学里跟着这样的课程，使用的教材是什么？ 谢谢。