手机扫一扫，现实物体隔空「复制粘贴」进电脑！北大校友AI新研究
最后更新：2020-05-12 10:13:31 手机定位技术交流文章
第13份白皮书来自奥菲天坛量子比特报告|公开号码QbitAI
魔法变成了现实，既酷又实用。
你还记得两年前扎克·金的爆炸魔法吗？
不仅一部手机从纸上弹出，而且它还被直接扔进电脑，形成一个虚拟的Tmall页面。
现在，不要羡慕巫师，每个人都可以把东西“扔”进电脑，而手机可以做到这一点！
这是34岁的法国设计师Cyril Diagne-ARCUT & AMP；用“一键”在电脑上粘贴、复制和粘贴你周围的东西，整个完成时间不到10秒。
比Ctrl+C和Ctrl+V更慷慨！
例如，拿起手机，扫描书上的模型图片，然后将手机指向电脑屏幕，模型会立即复制到电脑上。
书中的人物也无法用语言描述。
一些网民说:令人惊讶的是，就连这个黑头发的小兄弟也能认出他的头发。
当然，手写笔记也可以复制粘贴到电脑中。
他在Github上分享了他的新增强现实技术，并且已经接管了7K颗小星星。在不到14个小时的分享时间里，他几乎获得了4K的赞扬。
尽管西里尔说目前只能在Photoshop中实现，但将来肯定会有更多不同的输出方法。
只是现在，这种像魔术一样的新技术可以被复制到任何你想要的地方。
打开“复制粘贴”新世界的四个简单步骤
弟弟热情洋溢地描述了AR Cut。在GitHub。粘贴的“入门指南”
首先，应该强调的是，这是一个研究原型，不是消费者或Photoshop用户的工具。
应收帐款削减和粘贴原型由3个独立模块组成。
移动应用
您可以查看GitHub /app文件夹，了解如何将该应用部署到您的手机上。本地服务器
手机应用程序和Photoshop之间的界面。使用屏幕点找到相机在屏幕上指向的位置。您可以在/server文件夹中查看本地服务器上的配置说明。目标检测/背景去除服务
目前，显著性检测和背景去除被委托给外部服务。在移动应用中直接使用像DeepLap这样的技术会简单得多。但这在本次回购中尚未实现。步骤1:配置Photoshop
在Photoshop软件偏好设置中，找到插件。
单击启用远程连接并设置密码。
务必确保PS文档中的设置与服务器/src/ps.py中的设置一致，否则只会粘贴一个空层。
此外，该文件需要一些背景。如果只有白色背景，SIFT可能没有足够的能力进行正确的匹配。
步骤2:建立外部显著目标检测服务
如上所述，目前，必须将基础网络-HTTP包装器(需要CUDA GPU)用作外部HTTP服务来部署基础网络模型。
配置本地服务器需要要部署的服务网址。如果BASNet与本地服务运行在同一台计算机上，请确保配置不同的端口。
步骤3:配置和运行本地服务器
在GitHub项目的/server文件夹中，该步骤的详细文档包含“安装”和“运行”两个步骤。
安装代码如下:
Txt运行代码如下:
python src/main . py-bas net _ service _ IP = " http://x . x . x "-bas net _ service _ host = " bas net-http . default . example . com "-Photoshop _ password 123456。BASNET_SERVICE_HOST是可选的，并且仅在使用门户网关(如Knative/Cloud Run)在平台上部署服务时才需要。
并且，用Photoshop远程连接密码替换123456。
步骤4:配置和运行移动应用
安装代码如下:
然后，安装程序会更新组件/服务器中的IP地址，以指向运行本地服务器的计算机IP:
3:常量网址:运行代码如下:
npm startOK！打开一个“复制粘贴”的新世界就这么简单！
但是如果你想“更多地了解它是什么”，不要眨眼睛，低头看。
如何“复制并粘贴”每空？
这种神奇的增强现实黑技术背后的主要技术是一种被称为BASNet的非凡的目标检测方法。
本研究已入围2019，论文的第一篇作者是中国的小哥秦，他于今年2月在加拿大阿尔伯塔大学获得了北京大学的博士和硕士学位。
BASNet的核心框架如下图所示，主要由两个模块组成:
第一个模块是预测模块，这是一个类似于U-Net的密切监督的编码器-解码器网络，其主要功能是从输入图像中学习和预测显著图。
第二个模块是多尺度残差细化模块(RRM)，其主要功能是通过学习残差来细化预测模块获得的显著图和背景之间的残差，从而细化预测模块的显著图。
最近，在此基础上，设计师的弟弟采用了一种更新的方法来完成背景去除任务。
同样来自秦的团队，由模式识别2020获得。这种方法称为UNet，其框架如下图所示:
此外，用另外20种SOTA方法进行了定量和定性对比实验，取得了良好的效果。
在接下来的定性实验中，同样明显的是，通过这种方法提取的目标更加细粒度和准确。
那么，北京大学校友的新方法是如何被法国设计师西里尔·迪亚涅转化为黑色技术应用的呢？
一个不想成为程序员的设计师不是一个好的艺术家。
没有其他原因，Cyril Diagne是这样一位理解程序、设计并密切关注前沿研究发展的艺术家。
如果你注意他的社会趋势，它们都是天马行空空。
他是一个从“诗歌和歌曲”到“生活哲学”，从“服装设计”到增强现实黑技术的了不起的人。
西里尔·迪亚涅(Cyril Diagne)目前居住在法国巴黎，不仅是一名设计师和程序员，还是洛桑(ECAL)国立艺术大学媒体互动设计系的教授和主任。
2008年从巴黎的莱斯·戈贝林学校毕业后，他和五个同学成立了一个艺术组织，致力于科学技术与艺术的创造性互动，也为他未来的艺术生涯奠定了基础，这注定与科学技术密不可分。
自2015年起，西里尔加入了谷歌文化在巴黎的实验室。
与此同时，他继续分享他在基特布的新成就。在此之前，他已经在Github上发布了一些实用的小工具。
例如，一个chrome扩展，可以在Instagram页面上为照片添加3D效果。
在网络浏览器上直接用增强现实涂鸦你的脸。
将图像输入3D照片。
简而言之，他们有很多想法和丰富的经验，他们也了解技术和美学。
因此，现在想出一个像增强现实复制这样美妙的应用，打开一扇新的门，让所有的网民信服。
这也被认为是将北京大学校友肖合的牛X研究推向了牛X产品的应用入口。
虽然这仍是一个小试验，但前景是相当有希望的。
你认为如何使用这种黑色技术？怎么玩？
上手入口
https://github.com/cyrildiagne/ar-cutpaste/tree/clipboard
https://github.com/NathanUA/UNet
http://open access . thevf . com/content _ CVPR _ 2019/papers/Qin _ BASNet _ Boundary-Aware _凸包_对象_检测_CVPR_2019_paper.pdf
-完毕-
量子比特签了合同。
请密切关注我们，首先了解最新的技术发展。
本文由 在线网速测试 整理编辑，转载请注明出处。
