物体检测 ARKit vs CoreML

Question

物体检测 ARKit vs CoreML

machine-learningaugmented-realityarkitcoremlapple-vision

3

我正在构建iPhone的ARKit应用程序。我需要检测特定的香水瓶，并根据检测到的内容显示相关的信息。我使用了developer.apple.com提供的演示应用程序来扫描现实世界中的物体，并导出.arobject文件，可以将其用作资源。虽然它工作得很好，但由于瓶子是玻璃制成的，所以检测效果非常差。它只能在扫描范围内2-30秒的位置进行检测，或者根本就不能检测。合并扫描结果并没有改善情况，反而使情况变得更糟。合并后的结果可能会有奇怪的方向。

我该如何解决这个问题？

如果没有办法，CoreML能帮我吗？我可以拍摄大量照片并训练模型。如果我将每个帧与此模型进行匹配，这种方法有什么机会吗？

- Victor Semeniuk

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Andy Jazz · Accepted Answer

关于玻璃折射

由于玻璃折射现象和不同的光照条件，香水瓶的物体识别过程（在ARKit和CoreML中）是最复杂的。

看下面这张图片-有三个不同位置的玻璃球：

这些玻璃球具有不同的Fresnel IOR（折射率），环境，摄像机视角，大小和光照条件。但它们具有相同的形状，材料和颜色。

因此，加快识别过程的最佳方法是使用相同的背景/环境（例如单色灰色纸BG），相同的光照条件（光线的位置，强度，颜色和方向），良好的形状可读性（由于反射光点）以及相同的摄像机视角。

我知道，有时候很难遵循这些提示，但这些提示是有效的。