我已经按照 https://www.tensorflow.org/lite/convert 的说明,将一个tensorflow推断图转换成了tflite模型文件(*.tflite)。
我在拥有4张Nvidia TITAN GPU的GPU服务器上测试了这个tflite模型。我使用了tf.lite.Interpreter来加载和运行tflite模型文件。
它可以像之前的tensorflow推断图一样工作,但问题是推断速度变得非常慢。当我查看原因时,发现在tf.lite.Interpreter运行时,GPU利用率为0%。
有没有办法让tf.lite.Interpreter支持GPU?