我使用哈希映射来存储强化学习算法的Q表。我的哈希映射应该存储15000000个条目。当我运行算法时，进程使用的内存超过了1000000K。但是根据我的计算，我预计它不会使用超过530000K的内存。我尝试编写一个示例，但仍然出现高内存使用情况。
public static void main(String[] args) {
HashMap map = new HashMap<>(16_000_000, 1);
for(int i = 0; i < 15_000_000; i++){
map.put(i, i);
}
}
我的内存计算：
每个条目集是32字节
容量为15000000
HashMap实例使用：32 * 大小 + 4 * 容量
内存 = (15000000 * 32 + 15000000 * 4) / 1024 = 527343.75K
我在内存计算中哪里出错了吗？
Integer的大小为12字节。16_000_000的值，所以在将介于0和15_000_000之间的整数放入时，不应该出现哈希冲突的情况。因此，在这种特殊情况下，不应该有树节点存在。对于其他数据类型，情况可能会有所不同... - Holger我有和你类似的需求，所以决定在这里分享我的想法。
1) 有一个非常好的工具可以实现这个功能：jol。
2) 数组也是对象，在Java中每个对象都有两个额外的头部：标记和类，通常为4和8字节大小（这可以通过压缩指针进行调整，但不会进入细节）。
3) 这里需要注意地图的负载因子（因为它影响内部数组的调整大小）。以下是一个示例：
HashMap<Integer, Integer> map = new HashMap<>(16, 1);
for (int i = 0; i < 13; ++i) {
map.put(i, i);
}
System.out.println(GraphLayout.parseInstance(map).toFootprint());
HashMap<Integer, Integer> map2 = new HashMap<>(16);
for (int i = 0; i < 13; ++i) {
map2.put(i, i);
}
System.out.println(GraphLayout.parseInstance(map2).toFootprint());
1 80 80 [Ljava.util.HashMap$Node; // first case
1 144 144 [Ljava.util.HashMap$Node; // second case
public static void main(String[] args) {
Map<Integer, List<Integer>> map = IntStream.range(0, 15_000_000).boxed()
.collect(Collectors.groupingBy(WillThereBeTreeNodes::hash)); // WillThereBeTreeNodes - current class name
System.out.println(map.size());
}
private static int hash(Integer key) {
int h = 0;
return (h = key.hashCode()) ^ h >>> 16;
}
HashMap<Integer, Integer> map = new HashMap<>(15_000_000, 1);
for (int i = 0; i < 15_000_000; ++i) {
map.put(i, i);
}
System.out.println(GraphLayout.parseInstance(map).toFootprint());
以下是jol说的话：
java.util.HashMap@9629756d footprint:
COUNT AVG SUM DESCRIPTION
1 67108880 67108880 [Ljava.util.HashMap$Node;
29999872 16 479997952 java.lang.Integer
1 48 48 java.util.HashMap
15000000 32 480000000 java.util.HashMap$Node
44999874 1027106880 (total)
让我们从底层开始。
哈希表的总占用空间大小为：1027106880字节或1,027 MB。
节点实例是每个条目所在的包装类。它的大小为32字节；由于有1500万个条目，因此有以下行：
15000000 32 480000000 java.util.HashMap$Node
为什么是32字节？它存储了哈希码（4字节）、键引用（4字节）、值引用（4字节）、下一个节点引用（4字节）、12字节的头部和4字节的填充，总共32字节。
1 48 48 java.util.HashMap
一个HashMap实例 - 48字节用于其内部。
如果你真的想知道为什么是48字节：
System.out.println(ClassLayout.parseClass(HashMap.class).toPrintable());
java.util.HashMap object internals:
OFFSET SIZE TYPE DESCRIPTION VALUE
0 12 (object header) N/A
12 4 Set AbstractMap.keySet N/A
16 4 Collection AbstractMap.values N/A
20 4 int HashMap.size N/A
24 4 int HashMap.modCount N/A
28 4 int HashMap.threshold N/A
32 4 float HashMap.loadFactor N/A
36 4 Node[] HashMap.table N/A
40 4 Set HashMap.entrySet N/A
44 4 (loss due to the next object alignment)
Instance size: 48 bytes
Space losses: 0 bytes internal + 4 bytes external = 4 bytes total
接下来是整数实例：
29999872 16 479997952 java.lang.Integer
有3000万个整数对象（减去缓存在池中的128个）
1 67108880 67108880 [Ljava.util.HashMap$Node;
我们有1500万个条目，但HashMap的内部数组大小是2的幂次方，也就是16,777,216个4字节引用。
16_777_216 * 4 = 67_108_864 + 12 bytes header + 4 padding = 67108880
IntStream.range(0, 15).boxed() .collect(Collectors.groupingBy(WillThereBeTreeNodes::hash)。 - Holger
HashMap中存储的对象所需的内存：30,000,000个Integer对象（15,000,000个键，15,000,000个值）需要额外的240 MB。 - Thomas Kläger