我有一个长时间运行的C#进程，会从Sql表中查询10到200次。当该进程超过50次查询并且每次查询相同的表时，如果查询结果超过100,000行，它将在此行抛出System Out of Memory异常，具体地在将IQuery对象转换为List的底部：
var cht = from p in _db.TickerData
where p.Time >= Convert.ToDateTime(start) &&
p.Time <= Convert.ToDateTime(end)
orderby p.Time
select p;
_prices = cht.ToList(); < this is where the System.OutofMemoryException occurs >
首先：
特别是在将IQuery对象转换为List的底部
是的，您可以预期内存不足条件会发生在那里。
上面的cht赋值实际上并没有触及数据库；它只声明了查询的形状。这被称为延迟执行，LINQ无处不用。它的意思是“我们直到您的代码需要它之前都不会实际处理任何东西。”
调用ToList本质上意味着“代码现在需要全部内容”。因此，它会将查询发送到数据库，一次性提取所有结果，使用LINQ魔法将它们转换为CLR对象，并将它们全部放入List<T>中。
话虽如此，这只是一个预感，但您的LINQ提供程序可能不知道Convert.ToDateTime是什么。如果它不知道如何处理它，它就不会将其放入WHERE子句中执行的查询中，并且它将客户端加载整个表并进行过滤，这可能是当表变得太大而不是结果集变得太大时崩溃的原因。
为了验证这一点，请使用数据库分析器拦截查询，并查看WHERE子句是否符合您的预期。如果它没有正确转换，请尝试使用以下方法代替：
var startTime = Convert.ToDateTime(start);
var endTime = Convert.ToDateTime(end);
var cht = from p in _db.TickerData
where p.Time >= startTime && p.Time <= endTime
orderby p.Time
select p;
_prices = cht.ToList();
如果这不起作用，那么很可能是您只是拉取了太多的数据，您需要像在任何其他情况下处理过多数据时一样处理它。
DateTime startDateTime = Convert.ToDateTime(start);
DateTime endDateTime = Convert.ToDateTime(end);
int fetched = 0;
int totalFetched = 0;
do
{
//fetch a batch of 1000 records
var _prices = _db.TickerData.Where(p => p.Time >= startDateTime && p.Time <= endDateTime)
.OrderBy(p => p.Time)
.Skip(totalFetched)
.Take(1000)
.ToList();
//do here whatever you want with your batch of 1000 records
fetched = _prices.Count;
totalFetched += fetched;
}
while (fetched > 0);
Take(1000) 总是会获取前 1000 条记录。你需要在第一次迭代后使用 Skip(1000) 并继续获取。其次，在 while 语句中 _prices 超出了作用域。第三，IEnumerable<T> 没有 Count 属性。你需要在其上调用 .Count() 扩展方法。 - Code.me由于延迟执行，查询将在调用ToList()时执行。由于加载所有数据会消耗太多内存，因此最好进行批处理。
以下代码将让您一次获取1000条记录（或任何适合您的数量），然后您可以对它们进行处理。
var startTime = Convert.ToDateTime(start);
var endTime = Convert.ToDateTime(end);
IEnumerable<T> prices= new List<T>(); // whatever T is
var currentFetched = 0;
var totalFetched = 0;
do
{
var cht = _db.TickerData.Where(p => p.Time >= startTime && p.Time << endTime)
.OrderBy(p => p.Time)
.Skip(totalFetched)
.Take(1000)
.ToList();
currentFetched = cht.Count();
totalFetched += currentFetched;
// prices = prices.Concat(cht).ToList();
// ^ This might throw an exception later when the list becomes too big
// So you can probably process currently fetched data
}
while (currentFetched > 0);
IEnumerable 而不是使用 ToList。而且，现在在内存中加载 100K 条记录并不是什么大问题。 - Ivan StoevToList通常用于需要绑定UI或对查询结果执行多个操作的情况。但是请注意不要使用Linq中的其他语法糖，例如Any,Count等，因为IEnumerable不会缓存查询结果，并且会重新执行查询。无论如何，很高兴你的问题已经解决，这是最重要的，你选择的答案也很好。保重。 - Ivan Stoev
_prices方面的什么操作？在了解之后，我们可以告诉你如何解决这个问题。 - Magnus