有没有办法在AR Core中使用3D检测脚的方法？

Question

我们正在开发一款应用程序，可以检测脚，并在其上放置一款鞋的3D模型——这是一种鞋子的增强现实试穿体验。我们的开发工作基于Java Android。是否有任何库或框架可以实现此功能？

- Bilal Khan

---

可能没有直接的库，但您可以从TensorFlow Lite开始。您找到任何解决方案了吗？我也在寻找同样的东西。 - Cyph3rCod3r

我最初使用了TensorFlow，但是没有合适的数据集可以从第一人称视角检测脚。我唯一看到的方法就是从头开始。 - Bilal Khan

你好吗？你有什么建议吗？我正在努力学习，这将是一个很棒的项目！@BilalKhan - Erik

我们实际上没有足够的资源来完成这样的事情。因此，我们不得不放弃这个项目。 - Bilal Khan

Answer 1

要实现您所要求的内容需要两个条件：

1. 检测脚[AI]
2. 将对象放在脚上[AR]

理想情况下，您可以从 Posnet 开始处理第一点，这是基于Tensorflowlite的。对于第二点，您可以查看Screenform，它基于ARCore。您可能找不到完整的库包，但您必须根据自己的需求开始构建自己的库包。

- Cyph3rCod3r

---

@dr-andro，Posnet在第一人称视角下无法工作，需要完整的身体才能产生结果。 - zaid saeed

Answer 2

有几种现成的解决方案可以检测身体的各个部位（包括腿/脚）。 但是，如果你想要在你的腿上尝试一个鞋子的3D模型的解决方案，你可能会面临研发阶段。

因为用户拿设备的角度并不是正对用户本身。他试图将相机对准自己的腿部，所以你需要：

1. 识别出所有控制点的脚（不仅仅是检测出这是左脚还是右脚，还要了解它的位置）
2. 使用第一步中的控制点来正确定位用户脚部上的3D模型。

问题是，例如使用原生的ARKit（iOS方式），你可以渲染一个3D模型，甚至通过控制点来控制它，所以这不是一个大问题。 但是与第一步相关的主要问题是，在扫描自己的脚部时，找到带有所有控制点的脚，而不是在你面前的整个人。

所以你可能需要一个机器学习工程师（可能是用Python）先创建一个机器学习模型。 接下来，使用你的本地AR框架（例如iOS的ARKit）或者Unity（如果不是本地方式）来拥有和渲染在检测到的脚上的模型。

- Konstantin Stolyarenko