我们如何在Leap Motion API中访问点云？促使我购买它的一个功能是他们宣传视频中的点云演示，但我似乎找不到相关文档，论坛上的用户回复也存在差异。我是错过了什么吗？
我希望将Leap Motion用作一种便宜的3D扫描仪。
5个回答
20
那个演示显然是模拟了一个人手的三维模型，而不是实际的点云数据。你可以从显示了一些由于遮挡无法被传感器读取的点来判断。orion78fr在一个论坛帖子中提到了这一点，但创始人的采访记录提供了更多直接来自消息来源的信息：
- 请问您是否可以允许SDK访问云点？
David：我认为有时候人们对我们的硬件工作方式存在误解。它与其他技术（如Kinect）非常不同，在正常设备操作中，我们的优先级与大多数其他技术完全不同。我们的优先级是精度、微小运动、非常低的延迟和CPU使用率 - 因此，为了实现这一点，我们经常会做出牺牲，使得设备所做的事情完全不适用于您想要的3D扫描。
我们正在研究一些替代设备模式，让您可以将其用于这些目的，但这不是它最初的设计目的。当然，我们的目标是让它能够做到这些事情，并且硬件可以做很多事情。但我们现在的重点当然是人机交互，我们认为这是技术中缺失的核心组成部分，这也是我们的主要热情所在。
Michael：我们真的相信尽可能地挤取每一分性能，以实现设备的目的。因此，在这种情况下，Leap今天旨在成为一个出色的人机界面。我们已经进行了成千上万次的小优化，使其变得更好，但这可能会在过程中牺牲一些对于3D扫描对象有用的东西。但这些是有意的决定，但这并不意味着我们认为3D扫描不令人兴奋，也不是一个好的用例。未来我们公司将会开发其他设备，也许会有两种不同的设备，一种完全针对3D扫描进行了优化，另一种则继续优化并且能够很好地跟踪手指和手部。
如果我们没有做好传达设备不是关于3D扫描或无法进行3D扫描的工作，那是令人遗憾的，也是我们的失误 - 但这是我们必须要牺牲的。好消息是，这些牺牲使主要设备在跟踪手和手指方面真正出色。
我使用过Leap Motion Controller以及其他几个三维扫描系统，从我的经验来看，我严重怀疑我们是否能够从目前销售的硬件中获取点云数据。即使我们能够获取，其保真度也远低于该设备提供的手指和手部跟踪。
一些低成本的三维扫描替代方案已经开始出现。SoftKinetic推出了他们的DepthSense 325相机，价格为250美元（实际上与Creative Gesture Camera相同，只需150美元）。DS 325是一款飞行时间红外相机，可以在其前方的三维空间中生成320x240的点云地图。在我的测试中，它对不透明材料表现良好，但任何具有一定光泽或亮度的材料都会给它带来麻烦。
PrimeSense Carmine 1.09（售价200美元）使用结构光技术获取其前方的点云数据，这是他们为原始Kinect提供的技术的一种进步。它的有效空间分辨率比SoftKinetic相机低，但似乎提供更少的深度噪音，并且适用于更广泛的材料。
DUO也是一个有前途的项目，但不幸的是其Kickstarter运动失败了。它使用来自IR源的立体成像从几个PS3 Eye摄像头返回点云。他们可能会在将来某个时候重新启动该项目。
虽然Leap可能无法满足您的需求，但看起来越来越多的消费级价格设备正在推出以实现3D扫描。
- Brad Larson
7
你知道DepthSense或PrimeSense相机在户外或明亮的光线下，包括红外线方面的表现如何吗？谢谢。 - waspinator
1@waspinator - 两者都在强光源中感知到的红外线方面存在问题。我认为ToF红外相机在这方面有最大的问题，因为我认为Carmine传感器在它们投射的结构光点中具有更强的红外信号。我认为这可能是为什么该传感器在我的测试中比DepthSense相机的传感器具有更少的深度噪声。虽然我还没有在户外进行过大量的工作。在这些条件下，似乎非红外立体3D方法效果最佳。 - Brad Larson
我投了你的回答反对票，因为这显然不是个模型：http://www.youtube.com/watch?v=MYgsAMKLu7s#t=40s - thewhiteambit
@thewhiteambit - 那个手部显示部分不是什么？那仍然是手的模拟，而不是实际的点云数据。请注意，它显示了由于视野受阻而无法看到的点。这不是真实的。最有可能的是，它是他们手臂计算模型的表示形式，从相对低保真度的传感器输入中重建而来。Leap Motion控制器为其设计的功能提供了令人印象深刻的结果，可以跟踪手和工具的一些重要特征，但它并没有提供给您点云。 - Brad Larson
@thewhiteambit - 是的，这显然是从他们手部的计算模型中得出的。考虑到输入数据，它会有一些噪点，但仅适用于建模他们针对的对象（手、手指、工具），而不适用于广义点云成像。您可以从他们的相机中获取原始立体图像，但此时最好使用类似Duo或手动构建的立体摄影机等更高分辨率的图像采集器。您需要自己执行立体匹配以生成深度图像。 - Brad Larson
显示剩余2条评论
3
请看这里。
据说Leap Motion理论上可以处理点云，而且在beta版本中它曾经是可视化器的一部分，但现在无法使用Leap Motion API访问它。
将来可能会出现，但这不是Leap Motion团队的首要任务。
据说Leap Motion理论上可以处理点云，而且在beta版本中它曾经是可视化器的一部分，但现在无法使用Leap Motion API访问它。
将来可能会出现，但这不是Leap Motion团队的首要任务。
- orion78fr
1
可以在这里查看点云数据：http://www.youtube.com/watch?v=MYgsAMKLu7s#t=40s - thewhiteambit
1
与LeapMotion SDK 2.x一样，至少可以访问立体相机图像！就我所知，这是一个方便的解决方案，适用于许多需要点云数据的任务。即使它没有提供由驱动程序内部生成的指针元数据来提取点云数据，我在此提到它的原因是因为现在有能力自己生成点云，这就是为什么我认为它与问题密切相关的原因。
- thewhiteambit
0
Roadtovr最近对Nimble Sense Kickstarter进行了评测，该项目使用点云技术。
这是Kinect 2所使用的相同技术，据说比Leap Motion有一些优势。
由于它是深度感应相机，您可以像Touch+一样将相机从上方指向下方，尽管他们的产品要到明年才能发货。
这是Kinect 2所使用的相同技术，据说比Leap Motion有一些优势。
由于它是深度感应相机，您可以像Touch+一样将相机从上方指向下方，尽管他们的产品要到明年才能发货。
- Jeff Kang
0
目前在公共API中没有访问点云的权限。但我认为这个视频不是虚构的，所以应该有可能实现： http://www.youtube.com/watch?v=MYgsAMKLu7s#t=40s
- thewhiteambit
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接