如何在安卓设备上利用GPU运行神经网络模型？

Question

3

有人尝试在Android上运行物体检测或CRNN模型吗？我尝试在华为P30 Lite和三星J4 Core上运行CRNN模型（序列化的pytorch），但在华为P30 Lite上需要1秒，在三星J4 Core上需要5秒。

Huawei P30 lite
    CPU : octa core processor
    GPU : Mali-G51 MP4

Samsung J4
  CPU : quad core
  GPU : Adreno 308

安卓设备中的GPU与独立的GPU不同，它们没有VRAM和功率管理。CPU和GPU共享同一块内存。在使用带有GPU的PC上运行模型之前，我们需要指定将计算放置在GPU上，例如：

model = MyModel()
model.cuda()

但是当我在安卓上运行模型时，它是否利用了内置的GPU？或者计算速度更快是因为我的华为拥有八核处理器，但显然华为比我的三星设备有更好的GPU。

- Shahrear Bin Amin

2个回答

1

如果您能从PyTorch转换过来，TFLite会很有效。特别是针对您的Mali GPU，根据https://developer.arm.com/ip-products/processors/machine-learning/arm-nn - ArmNN将适当地分配工作到CPU/GPU，在与TFLite/Caffe2接口的Android NNAPI下运行。

- BenClark

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- sebi0920 · Accepted Answer

目前无法在ARM-GPU上运行PyTorch：

我认为速度差异是由于不同的CPU造成的！