使用Json.net将大型数据列表流式传输为JSON格式

Question

使用Json.net将大型数据列表流式传输为JSON格式

8

使用MVC模型，我想编写一个JsonResult，将Json字符串流式传输到客户端，而不是一次性将所有数据转换为Json字符串再将其流式传输回客户端。

我有一些操作需要发送非常大的（超过300,000条记录）作为Json传输，我认为基本的JsonResult实现不可扩展。

我正在使用Json.net，我想知道是否有一种方法可以在转换时将Json字符串的块流式传输。

//Current implementation:
response.Write(Newtonsoft.Json.JsonConvert.SerializeObject(Data, formatting));
response.End();

//I know I can use the JsonSerializer instead
Newtonsoft.Json.JsonSerializer serializer = new Newtonsoft.Json.JsonSerializer();
serializer.Serialize(textWriter, Data);

然而，我不确定如何将块写入textWriter并写入响应，并调用响应.Flush()直到所有300,000条记录都转换为Json。

这样做是否可能？

- sam360

2个回答

0

将其交给.NET并等待缓冲区填满的问题还有其他问题。

例如：如果这样做，一些json内容可能会被截断，导致前端解析问题。

到目前为止，最好的方法是在每次迭代中刷新批处理，如果使用批处理，则在每个单独项目上刷新它，如果这是您的设计目的。

目前我使用SSE将数据推送到浏览器，并使用分隔符消息“on message end”来指示浏览器可以关闭连接，我知道SSE用于连续流，但我们也可以使用它来帮助分块和批处理响应。

- Mike Mandala

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Brian Rogers · Accepted Answer

假设您的最终输出是一个JSON数组，并且每个“块”在该数组中是一个项目，您可以尝试使用以下JsonStreamingResult类。它使用JsonTextWriter将JSON写入输出流，并使用JObject作为一种手段，以便在将其写入编写器之前单独序列化每个项目。您可以向JsonStreamingResult传递一个IEnumerable实现，该实现可以单独从数据源中读取项目，以便您不必一次性将它们全部存储在内存中。我没有进行过广泛的测试，但它应该能让您朝正确的方向前进。

public class JsonStreamingResult : ActionResult
{
    private IEnumerable itemsToSerialize;

    public JsonStreamingResult(IEnumerable itemsToSerialize)
    {
        this.itemsToSerialize = itemsToSerialize;
    }

    public override void ExecuteResult(ControllerContext context)
    {
        var response = context.HttpContext.Response;
        response.ContentType = "application/json";
        response.ContentEncoding = Encoding.UTF8;

        JsonSerializer serializer = new JsonSerializer();

        using (StreamWriter sw = new StreamWriter(response.OutputStream))
        using (JsonTextWriter writer = new JsonTextWriter(sw))
        {
            writer.WriteStartArray();
            foreach (object item in itemsToSerialize)
            {
                JObject obj = JObject.FromObject(item, serializer);
                obj.WriteTo(writer);
                writer.Flush();
            }
            writer.WriteEndArray();
        }
    }
}