我们拥有的:
- 在 Docker 容器中运行的 Java 应用程序
- 没有调用本地代码,没有启动进程,没有引用 DLL / .so 文件。
- JVM 参数:
-Xmx256m -XX:NativeMemoryTracking=summary
- Docker 硬内存限制设置为
768m
- JVM 似乎正常(正常的 GC 循环,没有内存泄漏,没有 OOM)
- Docker 内存不断增长,直到达到硬限制(
768m
),导致容器被杀死并重新启动。
问题:
- 为什么 Docker 统计的内存不断增长(每天都会达到硬内存限制),尽管 JVM 似乎在其限制范围内表现良好。
- 对于其他微服务,我们没有看到这种行为。
JVM
在 JVM 方面,我们没有注意到任何特殊情况:
Docker 统计输出:
492.8MiB / 768MiB 64.17%
[ec2-user@ip-10-180-28-222 ~]$ docker exec 34d7 jcmd 1 VM.native_memory summary
1:
Native Memory Tracking:
Total: reserved=1731355KB, committed=472227KB
- Java Heap (reserved=262144KB, committed=262144KB)
(mmap: reserved=262144KB, committed=262144KB)
- Class (reserved=1131805KB, committed=92829KB)
(classes #16224)
(malloc=7453KB #20996)
(mmap: reserved=1124352KB, committed=85376KB)
- Thread (reserved=29932KB, committed=29932KB)
(thread #30)
(stack: reserved=29772KB, committed=29772KB)
(malloc=94KB #151)
(arena=66KB #55)
- Code (reserved=255659KB, committed=35507KB)
(malloc=6059KB #9814)
(mmap: reserved=249600KB, committed=29448KB)
- GC (reserved=15369KB, committed=15369KB)
(malloc=5785KB #547)
(mmap: reserved=9584KB, committed=9584KB)
- Compiler (reserved=190KB, committed=190KB)
(malloc=59KB #858)
(arena=131KB #6)
- Internal (reserved=7849KB, committed=7849KB)
(malloc=7817KB #18468)
(mmap: reserved=32KB, committed=32KB)
- Symbol (reserved=20018KB, committed=20018KB)
(malloc=17325KB #175818)
(arena=2693KB #1)
- Native Memory Tracking (reserved=3558KB, committed=3558KB)
(malloc=10KB #120)
(tracking overhead=3548KB)
- Arena Chunk (reserved=4830KB, committed=4830KB)
(malloc=4830KB)
运行约20小时后
649.6MiB / 768MiB 84.59%
[ec2-user@ip-10-180-28-222 ~]$ docker exec 34d7 jcmd 1 VM.native_memory summary
1:
Native Memory Tracking:
Total: reserved=1741020KB, committed=510928KB
- Java Heap (reserved=262144KB, committed=262144KB)
(mmap: reserved=262144KB, committed=262144KB)
- Class (reserved=1138319KB, committed=100495KB)
(classes #16390)
(malloc=7823KB #30851)
(mmap: reserved=1130496KB, committed=92672KB)
- Thread (reserved=30996KB, committed=30996KB)
(thread #31)
(stack: reserved=30800KB, committed=30800KB)
(malloc=97KB #156)
(arena=99KB #57)
- Code (reserved=261330KB, committed=69062KB)
(malloc=11730KB #16047)
(mmap: reserved=249600KB, committed=57332KB)
- GC (reserved=15363KB, committed=15363KB)
(malloc=5779KB #334)
(mmap: reserved=9584KB, committed=9584KB)
- Compiler (reserved=223KB, committed=223KB)
(malloc=92KB #1246)
(arena=131KB #6)
- Internal (reserved=8358KB, committed=8358KB)
(malloc=8326KB #18561)
(mmap: reserved=32KB, committed=32KB)
- Symbol (reserved=20253KB, committed=20253KB)
(malloc=17527KB #177997)
(arena=2725KB #1)
- Native Memory Tracking (reserved=3846KB, committed=3846KB)
(malloc=10KB #127)
(tracking overhead=3836KB)
- Arena Chunk (reserved=188KB, committed=188KB)
(malloc=188KB)
观察结果
经过20小时的观察,我们目前所知道的是:
- Docker状态从
492.8MiB
跳至649.6MiB
- JVM已分配本地内存从
472227KB
跳至510928KB
- docker状态和JVM已分配本地内存之间的差距似乎在增加(
649.6MiB - 510928KB
在哪里以及为什么在增加) - 整个时间段内JVM状态保持正常
因此,我不知道我还能在JVM方面调试什么。我理解Java需要更多不只是堆的内容(因此需要追踪本地内存),但是JVM本地内存跟踪器报告的内容与docker状态之间仍存在约150m的差距。我该如何获得有关这些内存去向的更多信息?
JAVA_OPTS
是由 CloudFormation 模板设置的,但我们传递的唯一参数是-Xmx256m
(最近添加了-XX:NativeMemoryTracking=summary
用于调试)。 - ddewaele