SSIS需要多少个核心？

Question

6

我在SSIS中进行了一个复杂转换的概念验证。我已经在虚拟机中创建了这个POC，并且有了性能指标，该虚拟机分配了1核心和1GB内存。SSIS转换都是基于文件的（源和目标）。

现在，如果我知道每天要转换的文件数量和总文件大小，我想使用这些指标来选择生产环境所需的正确核数和内存量。那么，确定生产所需的正确核数和内存量的正确策略是什么？

（编辑）请考虑每天总传输大小为100GB和5000个文件！

- Patrick Peters

2个回答

1

性能方面有许多领域需要考虑。其中之一是核心数量。拥有更多核心可以完成更多的并行工作。当然，这也取决于您如何构建软件包。某些对象是同步的，而其他对象是异步的。内存也是一个因素，但限制在每个数据流组件的100MB。

- Josef Richberg

你能解释一下为什么数据流组件有100MB的限制吗？你有任何证明这一点的参考资料吗？ - Patrick Peters

请注意，组件使用的内存仅限于同步（流式）组件。异步（排序、聚合等）可能会消耗更多的内存。 - Michael Entin

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Chris J · Accepted Answer

你需要进行另外两个基准测试：2 GB内存，1个核心和1 GB内存，双核心。在没有更多数据点的情况下，很难推断出相对较小的环境的快照。

此外，只有1GB RAM，您还需要确保服务器没有因内存不足而进行磁盘分页（这会使您的数字有所偏差，因为所有内容都依赖于磁盘访问 - 而且考虑到您已经从磁盘读取...）。因此，请确保您知道那里发生了什么。

SSIS尝试在内存中缓冲尽可能多的内容以提高速度，因此更多的内存总是好的 :-) 更重要的问题是额外的核心将给您带来什么好处。