如何使用GPU通过tf.lite.Interpreter（在Python中）运行tflite模型（*.tflite）？

Question

4

我已经按照 https://www.tensorflow.org/lite/convert 的说明，将一个tensorflow推断图转换成了tflite模型文件（*.tflite）。

我在拥有4张Nvidia TITAN GPU的GPU服务器上测试了这个tflite模型。我使用了tf.lite.Interpreter来加载和运行tflite模型文件。

它可以像之前的tensorflow推断图一样工作，但问题是推断速度变得非常慢。当我查看原因时，发现在tf.lite.Interpreter运行时，GPU利用率为0%。

有没有办法让tf.lite.Interpreter支持GPU？

- 강효형

你安装了tensorflow-gpu吗？ - Psychotechnopath

是的，我检查过在其他情况下正在使用GPU。 - 강효형

2个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Thư Sinh · Answer 1

阴谋论：他们（TF-NVIDIA）握手不让TFlite在GPU上工作？很容易制作一个。

史蒂夫

- LeeSeng · Answer 2

CPU的性能对于tflite来说已经足够好了，尤其是多核心处理器。

nvidia GPU可能没有为tflite进行更新，因为它是针对移动GPU平台的。