在node.js中处理大型json数组

Question

在node.js中处理大型json数组

3

我使用axios从API获取数据并在我的node.js应用程序中使用数据。

这些数据是一个包含300个对象的数组，其中每个对象都像这样：

{
  'location': 'us',
  'date': '156565665',
  'month': '5.1',
  'day': '6',
  'type': 'default',
  'count': '7',
  'title': 'good',
  'filter': 'no',
  'duration': 'short',
  'options': 'no',
}

在获取到这个对象数组后，我需要对每个对象进行转换：将其键替换为新的键，并将某些值转换为正确的数据类型（字符串转浮点数）：

{
  'loc': 'us',
  'date_new': parseInt('156565665'),
  'month': parseFloat('5.1'),
  'day': parseInt('6'),
  'type': 'default',
  'count': parseInt('7'),
  'title': 'good',
  'filter': 'no',
  'duration': 'short',
  'options': 'no',
}

目前我只是使用for循环，每次迭代将每个对象的键和值进行转换。但会有成千上万个这样的对象。这将是一个处理这些数据的工作。在node.js中处理它们的最佳方法是什么？

我打算使用一些现成的队列，比如bee-queue或者resque，但即使在这种情况下，也最好让代码“按照node.js的方式”来处理我的对象数组，这样不会减慢node循环。也许可以将每个对象推送到Promise数组中，并将它们放到Promise.all()中（但Promise.all()中将有300个Promise）？在node.js中进行这样的复杂计算的最佳方法是什么？

- Stas Coder

你能控制页面大小从300到小于10吗？ - gurvinder372

你可以使用 https://github.com/dominictarr/JSONStream 和 https://dev59.com/B2ct5IYBdhLWcg3wuPu6。 - gurvinder372

@gurvinder372 我会尝试并给出反馈。 - Stas Coder

让我们在聊天室中继续这个讨论。 - Stas Coder

300个对象转换就是轻量级的东西。保持简单并使其正常工作，然后进行测试，不要在不知道问题所在之前进行优化，然后您可以直接解决问题。承诺不会帮助您按照您描述的方式使用它们，并且也不需要。 - lecstor

显示剩余3条评论

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- gurvinder372 · Accepted Answer

但是会有成千上万个类似这些的对象。需要一个处理这些数据的工具。在 node.js 中，最好的处理方式是什么？

我建议：

使用 JSONStream 或其他好的推荐解析 JSON 流。

示例

var request = require('request')
  , JSONStream = require('JSONStream')
  , es = require('event-stream')

request({url: 'URL'})
  .pipe(JSONStream.parse('rows.*'))
  .pipe(es.mapSync(function (data) {
    console.error(data)
    return data
  }))

解析后，将它们存储在数据库中，而不是立即处理，因为对于一个大对象的硬计算将会阻塞Nodejs的处理。
从数据库中逐个选择它们进行处理。