当使用PLINQ时，我该如何避免内存不足异常？

Question

您好，感谢您的关注！

背景

我有一个计算任务，需要很长时间或者并行计算。

具体来说，我需要循环遍历大约50张图片的列表，对其进行Base64编码，然后计算每个新编码项与包含约2000个Base64字符串编码图像值的XML文件中的值之间的Levenshtein距离，以找到在XML文件中具有与基准字符串最小Lev. 距离的字符串。

常规的foreach循环可以工作，但速度太慢，因此我选择使用PLINQ来利用我的Core i7多核处理器：

Parallel.ForEach(candidates, item => findImage(total,currentWinner,benchmark,item));

任务开始得很出色，速度非常快，但是后来我遇到了一个"内存不足"的异常。

我使用的是C#、.NET 4和Forms应用程序。

问题

如何调整我的PLINQ代码，以避免可用内存不足？

更新/示例代码

这是调用PLINQ foreach的方法：

private void btnGo_Click(object sender, EventArgs e)
{
    XDocument doc = XDocument.Load(@"C:\Foo.xml");
    var imagesNode = doc.Element("images").Elements("image"); //Each "image" node contains a Base64 encoded string.
    string benchmark = tbData.Text; //A Base64 encoded string.
    IEnumerable<XElement> candidates = imagesNode;

    currentWinner = 1000000; //Set the "Current" low score to a million and bubble lower scores into it's place iteratively.
    
    Parallel.ForEach(candidates, i => {
        dist = Levenshtein(benchmark, i.Element("score").Value);
        if (dist < currentWinner)
        {
            currentWinner = dist;
            path = i.Element("path").Value;
        }
    });
}

...这里介绍的是Levenshtein距离算法：

public static int Levenshtein(string s, string t)    {
            int n = s.Length;
            int m = t.Length;
            var d = new int[n + 1, m + 1];

            // Step 1
            if (n == 0)
            {
                return m;
            }

            if (m == 0)
            {
                return n;
            }

            // Step 2
            for (int i = 0; i <= n; d[i, 0] = i++)
            {
            }

            for (int j = 0; j <= m; d[0, j] = j++)
            {
            }

            // Step 3
            for (int i = 1; i <= n; i++)
            {
                //Step 4
                for (int j = 1; j <= m; j++)
                {
                // Step 5
                int cost = (t[j - 1] == s[i - 1]) ? 0 : 1;

                // Step 6
                d[i, j] = Math.Min(
                    Math.Min(d[i - 1, j] + 1, d[i, j - 1] + 1),
                    d[i - 1, j - 1] + cost);
                }
            }
            // Step 7
            return d[n, m];
            }

预先感谢您！

- Matt Cashatt

---

你还没有向我们展示你的代码。如果我们不知道它当前的功能，我们怎么能建议你如何调整它呢？ - LukeH

对不起，我以为描述已经足够清晰了。我会更新帖子的。谢谢。 - Matt Cashatt

Answer 1

更新

今天在不同情况下又遇到了这个错误。我正在开发一个对内存需求很高的桌面应用程序。请确保将项目设置为64位架构以访问所有可用内存。因为我的项目默认设置为x86，所以我一直收到“内存不足”异常。当然，只有在部署时能够使用64位处理器才能起作用。

结束更新

经过一番挣扎后，我发现这是操作员错误：

我从并行线程中调用UI线程以更新进度标签，但我没有以线程安全的方式进行操作。

此外，我在没有调试器的情况下运行应用程序，因此每次代码尝试从并行线程更新UI线程时都会引发未捕获的异常，导致溢出。

如果您不是PLINQ专家，我猜测只要您不犯这种愚蠢的错误，PLINQ就会处理好所有底层分配工作。

希望这可以帮助其他人。

- Matt Cashatt