一部手机,万物皆可复制粘贴,这位兼职写代码设计师将AR玩出新高度
最后更新：2020-05-08 10:56:53 手机定位技术交流文章
机器心脏报告
参与:鸡蛋酱，魔鬼，杜威
复制你看到的任何东西。这是魔法还是孙武的魔法力量空？都不是。这就是增强现实的魔力。
如何将项目的图像导入Photoshop？首先你必须拍一张照片，然后通过网络或存储卡将照片传送到电脑，然后将其导入Photoshop界面。那么，这些过程可以一步实现吗？
现在，增强现实可以做到。
在一篇名为“增强现实剪切粘贴工具”的文章中，用户只需在手机上预先安装该工具，然后瞄准目标对象，将图像复制粘贴到Photoshop中，这有点像“每空个移动对象”。
首先让我们看看效果:
盆栽植物。
衣服。
书籍。
如上图所示，无论是盆栽植物、衣服还是书籍，当你看到它们时，你都可以复制它们。对于平面设计师来说，只需点击一下就能进入Photoshop，并把它们变成图像材料，这是一件幸事。
据介绍，目前刀具的切割延时约为2.5秒，粘贴延时约为4秒。这个过程可以进一步加快。此外，作者还预测下周将发布另一款人工智能+UX原型！
项目介绍
应收帐款削减和粘贴工具是一个增强现实+最大似然的原型，通过它你可以从周围环境中复制固定的对象，并把它们粘贴到图像编辑软件(Photoshop)中。应该注意的是，该工具仅适用于Adobe Photoshop软件，并且可能支持将来对不同输出的处理。
项目地址:https://github.com/cyrildiagne/ar-cutpaste
该原型有三个独立的模块，即手机应用程序、本地服务器和目标检测以及背景去除服务。
首先，用户需要预先安装增强现实剪切和粘贴。
npm安装
其次，作为应用程序和Photoshop之间的接口，用户需要预先配置本地服务器。
virtualenv venv source venv/bin/activate pip install-r requirements . txt
最后，重要的目标检测和背景去除由外部服务执行(应用了BASNet技术)。用户需要用他们的Photoshop远程连接密码替换下面代码中的123456。
python src/main . py-basnet _ service _ IP = " " http://X . X . X . X " "-basnet _ service _ host = " " basnet-http . default . example . com " "-Photoshop _ password 123456
技术细节
该工具使用BASNet(秦等，2019)来执行重要的目标检测和背景去除。
然后，使用OpenCV SIFT在电脑屏幕上找到手机的位置。只需要一张手机照片和截图就可以获得精确的X和Y屏幕坐标系。
重要目标检测和背景去除
项目作者使用BASNet来执行重要的目标检测和背景去除。
Basnet来自于CVPR 2019年的一篇论文“BASNet:边界感知显著目标检测”，关于边界的显著性检测。其主要创新之处在于损失函数的设计，利用交叉熵损失、结构相似性损失和IoU损失的混合损失，使网络更加注重边界质量，而不是像以前那样只注重区域精度。它可以在一个GPU上运行25帧/秒，并在六个公共数据集上实现SOTA效应。
下图显示了BASNet的体系结构:
为了便于使用，项目作者已经创建了一个BASNet HTTP服务包装器。
地理信息中心地址:https://github.com/cyrildiagne/basnet-http
配置
尺度不变特征变换是一种关键点检测算法。SIFT算法检测到的关键点通常对光线、视角等的变化非常鲁棒，甚至不受视线遮挡的影响。SIFT算法的另一个优点是它的计算速度非常快，基本上可以满足实时计算。
SIFT算法示例。来源:维基百科网址:https://en.wikipedia.org/wiki/scale-invalid特征转换
该工具使用OpenCV SIFT来找出手机在电脑屏幕上的位置。
项目作者将其打包成一个小python包，请参见:
地理信息中心地址:https://github.com/cyrildiagne/screenpoint
作者简介
这个工具的发明者西里尔·迪亚涅现在住在法国巴黎。他是一名艺术家、设计师和程序员。他是一个真正的中年人。
2008年从巴黎的莱斯·戈贝林影像学校毕业后，西里尔·迪亚格内和其他五名学生成立了艺术组织LAB212。
同时，他也是谷歌文化研究实验室的巴黎艺术家，瑞士洛桑艺术与设计大学的媒体和互动设计负责人。
十多年来，Cyril Diagne一直致力于将新颖的数字技术与艺术设计相结合，创造美妙的互动体验。同时，他也相信这种结合将使计算机技术更加人性化。
例如，他曾经开发了一个面部涂鸦工具，可以使用增强现实在网络浏览器上涂鸦面部
还有一个chrome扩展，可以为Instagram的个人主页图像添加3D效果。这些效果产生了类似于脸书的3D照片功能，允许2D的照片呈现多角度的视图。
如果你对这种艺术或技术设计感兴趣，你可以在Cyril Diagne的GitHub主页上找到更多有趣的作品。
个人主页:https://github.com/cyrildiagne
这篇文章是关于机器的核心。请联系这个公共号码获得授权。
本文由 在线网速测试 整理编辑，转载请注明出处。
