我有一个Flink工作任务,其中我正在从文件夹中读取文件并将其转储到数据库中。每天会有新的文件放入该文件夹中。
我启用了检查点,以便如果由于任何原因Flink任务停止并且我需要重新启动,则Flink任务不应读取已经读取的文件。
我在我的代码中添加了下面的行,但是当我重新启动我的任务时,Flink任务又会读取所有文件。
我启用了检查点,以便如果由于任何原因Flink任务停止并且我需要重新启动,则Flink任务不应读取已经读取的文件。
我在我的代码中添加了下面的行,但是当我重新启动我的任务时,Flink任务又会读取所有文件。
env.setStateBackend(new FsStateBackend("file:///C://Users//folder"));
env.enableCheckpointing(10L);