如何使Luigi任务生成一个内存列表作为目标

Question

我正在尝试使用Luigi编写一个ETL流程。根据文档，Luigi中的任务可以生成一种目标，可以是某种类型的文件存储或数据库。为了缩短处理时间，我想将输出作为内存列表。这是否可行？我需要创建自定义目标吗？

- djWann

---

与问题 https://dev59.com/IFgQ5IYBdhLWcg3wl1F3 相关，其中有一些看起来很有用的答案。 - Scott H

Answer 1

我发现可以将MockFile作为目标对象。 这里有一个很好的例子：

http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html

- djWann

---

作者指出：“我在这里使用MockFile只是为了在控制台上查看结果。虽然我不确定它是否是生产就绪的方法，但通常这是一个很好的测试工具。”那么你是否尝试过在（半）生产管道中使用MockFile？这是内存流水线的正确方式吗？ - Eugene Krevenets