44得票4回答
使用Node.js实现数据流传输

我想知道是否可以使用Node.js从服务器向客户端流式传输数据。我想向Node.js发送单个AJAX请求,然后保持连接并持续向客户端流式传输数据。客户端将接收此流并持续更新页面。 更新: 关于这个答案的更新 - 我无法使其正常工作。在调用close之前,response.write不会被发...

43得票10回答
当我们需要存储“最后n个项目”时,使用列表是否比向量更好?

有很多问题表明应该始终使用向量,但在我看来,对于需要存储“最后n个项目”的情况,列表可能更好。例如,假设我们需要存储最近看到的最后5项:迭代0:3,24,51,62,37, 然后在每次迭代中,索引为0的项被删除,并将新项添加到末尾: 迭代1:24,51,62,37,8 迭代 2:51,62,3...

16得票5回答
FIFO/Queue缓冲器专为字节流而设计

有没有.NET数据结构/类的组合,允许将字节数据附加到缓冲区的末尾,但所有的“Peek”和“Read”都从开头进行,读取时缩短缓冲区? MemoryStream类似乎完成了部分工作,但我需要维护不同的读写位置,并且在读取后不会自动丢弃开始的数据。 在回答此问题之后发布了一个答案,基本上就是...

16得票7回答
Spark的ssc.textFileStream无法从目录流式传输任何文件

我正在尝试使用 Eclipse(具有 Maven 配置),使用 2 个工作器,每个工作器都有 2 个核心,或者也尝试使用 spark-submit 执行以下代码。public class StreamingWorkCount implements Serializable { pub...

16得票1回答
Kinesis数据流中的“shards”是什么?

什么是Kinesis数据流中的分片(shards)和分区键(partition key)?我阅读了AWS文档,但是还是不太理解。能否用简单易懂的语言解释一下?

15得票6回答
Streams和Firehose的用例是什么?

我正在开发一款应用程序,该程序将读取和分析支付交易日志。根据我的要求,我知道我将使用 Kinesis Analytics,它从数据流和 Firehose 中获取输入。但是,我在决定我的系统应该使用哪种输入方法方面遇到了问题。我的要求如下: 它可以容忍延迟,但数据不应该丢失。 必须记录 Dyn...

15得票4回答
Scala中的磁盘持久化延迟缓存列表 ™

我需要在Scala中拥有一个非常非常长的(X,Y)对列表。它非常大,无法放入内存(但可以很好地放在磁盘上)。 所有更新操作都是cons(头部追加)。 所有读取访问都从头部开始,并有序地遍历列表,直到找到预定的一对。 缓存会很棒,因为大多数读取访问将一遍又一遍地保留相同的数据。 因此,这...

12得票2回答
基于Java的传感器数据收集库

我正在寻找一个适合以一般方式收集传感器实时数据流的可嵌入Java库。我计划使用它来开发一个“中心”应用程序,用于汇报多个不同传感器数据流,运行在基于JVM的服务器上(也将为此使用Clojure)。 以下是其需要具备的关键功能: 各种常见传感器类型/ API的接口。我很乐意自己构建所需内容...

11得票2回答
Apache Flink - 如果 x 分钟没有收到数据,则发送事件

我该如何使用Flink的DataStream API实现一个操作符,当从数据流中未接收到一定时间的数据时,发送一个事件?

11得票1回答
AWS Kinesis 和 EventBridge 有什么区别?

我是AWS新手,正在尝试弄清楚Amazon的Kinesis数据流和EventBridge产品之间的区别。有没有人可以为不熟悉AWS技术栈的人解释一下? 我是一个AWS新手,想知道Amazon Kinesis Data Stream和EventBridge产品之间的区别。可以有人给不熟悉AWS...