如何在Kettle Pentaho中使用缓存？

Question

我正在处理数据，从rest api获取一些信息，基于字段的值。

现在，该字段的值可能会重复，如果我已经从REST获取了该值的数据，则希望重复使用该值并节省API调用（转换中最慢的操作）。

是否可能？ 如果是，怎么做？

问候 Ajay

- Thoughtful Monkey

---

同样的值是否总是从REST API产生相同的结果？那么，如果您进行预处理转换，在其中找到所有不同的请求值。请求它们全部，并使用管道查找步骤将结果传递到主管道中。您需要帮助吗？ - RFVoltolini

Answer 1

@RFVoltini你说得对，也许我们可以尝试为此目的设置H2数据库服务器：http://type-exit.org/adventures-with-open-source-bi/2011/01/using-an-on-demand-in-memory-sql-database-in-pdi/。

另一个选择是在Java中使用memcached：http://sacharya.com/using-memcached-with-java/。

- jacktrade

---

我现在在想，缓存可能对这个任务来说有点过头了（请参见我的评论）。但无论如何，我对如何在PDI中实现通用缓存很感兴趣。我会查看您的链接。谢谢。 - RFVoltolini

Answer 2

我做了一个示例转换，通过国家代码从webservice获取国家名称。我使用的是这样的思路：只需从webservice获取不同的国家代码/名称，然后在主管道中查找它们。

请看这个示例：https://docs.google.com/open?id=0B-AwXLgq0XmaV0V0cHlfTFZlVUU，看看这种方法是否适用于您。

- RFVoltolini