手機(jī)掃一掃，現(xiàn)實(shí)物體隔空「復(fù)制粘貼」進(jìn)電腦，北大校友的AI新研究，現(xiàn)在變成AR酷炫應(yīng)用

編者按：本文來(lái)自微信公眾號(hào)“量子位”（ID:QbitAI），作者：十三白交，36氪經(jīng)授權(quán)發(fā)布。

魔法變現(xiàn)實(shí)，酷炫又實(shí)用。

還記得兩年前，Zach King(男巫)的爆紅魔術(shù)嗎？

不僅從紙直接蹦出一個(gè)手機(jī)，還直接扔進(jìn)了電腦里形成虛擬的天貓頁(yè)面。

現(xiàn)在，不用去羨慕男巫了，人人都可以把身邊的東西“扔到”電腦里，而且一部手機(jī)就能搞定！

這就是來(lái)自34歲法國(guó)設(shè)計(jì)師Cyril Diagne的最新AR黑科技——AR Cut & Paste，將身邊的事物“一鍵”復(fù)制粘貼到電腦上，整個(gè)完成時(shí)間不到10s。

比Ctrl+C和Ctrl+V還要爽快！

比如，拿手機(jī)掃一掃書(shū)上的模型圖片，再把手機(jī)對(duì)準(zhǔn)電腦屏幕，模型瞬間就復(fù)制到了電腦。

書(shū)上的人物也不在話下。

就有網(wǎng)友說(shuō)道：連這個(gè)黑發(fā)小哥的頭發(fā)都能識(shí)別出來(lái)，太神奇了。

當(dāng)然，手寫的筆記，也可以復(fù)制粘貼到電腦中。

他在Github上分享了他的AR新技術(shù)，已經(jīng)狂攬7K顆小星星；而且在Reddit上分享不到14小時(shí)，就獲得了近4K的點(diǎn)贊量。

即使Cyril表示目前僅僅能在Photoshop中實(shí)現(xiàn)，但未來(lái)——肯定會(huì)有更多不同的輸出方式。

只是現(xiàn)在，這項(xiàng)AR黑科技——魔法一樣的新技術(shù)，只要你想，也能復(fù)刻。

小哥非常熱心地在GitHub中，描述了AR Cut & Paste的“上手指南”。

首先要強(qiáng)調(diào)的是，這是一個(gè)研究原型，而不是針對(duì)消費(fèi)者或者Photoshop用戶的工具。

AR Cut & Paste原型包含3個(gè)獨(dú)立的模塊。

移動(dòng)應(yīng)用(The mobile app)

可以查看GitHub中/app文件夾，了解如何將App部署到手機(jī)中。

本地服務(wù)器(The local server)

手機(jī)APP與Photoshop的接口。

使用屏幕點(diǎn)(screenpoint)找到攝像機(jī)在屏幕上指向的位置。

可查看/server文件夾，了解關(guān)于本地服務(wù)器的配置說(shuō)明。

目標(biāo)檢測(cè) / 背景移除服務(wù)(The object detection / background removal service)

目前，顯著性檢測(cè)和背景移除，是委托給一個(gè)外部服務(wù)來(lái)完成。

如果直接在移動(dòng)應(yīng)用中使用類似DeepLap這樣的技術(shù)會(huì)簡(jiǎn)單很多。但這還沒(méi)有在這個(gè)repo中實(shí)現(xiàn)。

第一步：配置Photoshop

在Photoshop軟件首選項(xiàng)(Preferences)中，找到增效工具(Plug-ins)。



點(diǎn)擊啟用遠(yuǎn)程連接(Remote Connection)，并設(shè)置密碼。



這里需要確保一點(diǎn)，PS文檔中的設(shè)置要與server/src/ps.py中的設(shè)置一致，否則只會(huì)粘貼一個(gè)空層。

此外，文檔需要一些背景，如果只是白色背景，SIFT可能沒(méi)有足夠能力來(lái)做一個(gè)正確的匹配。

第二步：設(shè)置外部顯著性目標(biāo)檢測(cè)服務(wù)

如上所述，目前，必須使用BASNet-HTTP封裝器(需要CUDA GPU)作為外部HTTP服務(wù)，部署B(yǎng)ASNet模型。

將需要部署的服務(wù)URL來(lái)配置本地服務(wù)器。如果在本地服務(wù)的同一臺(tái)計(jì)算機(jī)上運(yùn)行BASNet，請(qǐng)確保配置不同的端口。

第三步：配置并運(yùn)行本地服務(wù)器

這一步的詳細(xì)文檔，在GitHub項(xiàng)目中的/server文件夾中，包含“安裝”和“運(yùn)行”兩個(gè)步驟。

安裝代碼如下：

virtualenv-ppython3.7venvsourcevenv/bin/activatepipinstall-rrequirements.txt

運(yùn)行代碼如下：

pythonsrc/main.py\—basnet_service_ip=”http://X.X.X.X“\—basnet_service_host=”basnet-http.default.example.com”\—photoshop_password123456

其中，BASNET_SERVICE_HOST是可選的，只有在使用Knative / Cloud Run等入口網(wǎng)關(guān)在平臺(tái)上部署服務(wù)時(shí)才需要。

以及，用Photoshop遠(yuǎn)程連接密碼替換123456。

第四步：配置并運(yùn)行移動(dòng)App

安裝代碼如下：

npminstall

然后更新component/Server.tsx中的IP地址，使其指向運(yùn)行本地服務(wù)器的計(jì)算機(jī)IP：

3:constURL=“http://192.168.1.29:8080“;

運(yùn)行代碼如下：

npmstart

OK！開(kāi)啟“復(fù)制粘貼”新世界，就是這么簡(jiǎn)單！

但如果你希望“知其然更知其所以然”，別眨眼，接著往下看。

如何做到隔空「復(fù)制粘貼」？

這個(gè)神奇的AR黑科技背后的主要技術(shù)，剛開(kāi)始采用的是一個(gè)叫做BASNet的顯著目標(biāo)檢測(cè)方法。



這篇研究入圍了CVPR 2019，而且論文一作還是位華人小哥哥——秦雪彬，已經(jīng)于今年2月在加拿大阿爾伯塔大學(xué)拿到了博士學(xué)位，碩士就讀于北京大學(xué)。



BASNet的核心框架如下圖所示，主要由2個(gè)模塊組成：



第一個(gè)模塊是預(yù)測(cè)模塊，這是一個(gè)類似于U-Net的密集監(jiān)督的Encoder-Decoder網(wǎng)絡(luò)，主要功能是從輸入圖像中學(xué)習(xí)預(yù)測(cè)saliency map。

第二個(gè)模塊是多尺度殘差細(xì)化模塊(RRM)，主要功能是通過(guò)學(xué)習(xí)殘差來(lái)細(xì)化預(yù)測(cè)模塊得到的Saliency map，與groun-truth之間的殘差，從而細(xì)化出預(yù)測(cè)模塊的Saliency map。

而最近，這位設(shè)計(jì)師小哥哥在此基礎(chǔ)上，針對(duì)背景移除任務(wù)，采用了更新的方法。

同樣是來(lái)自秦雪彬團(tuán)隊(duì)，被Pattern Recognition 2020接收，這個(gè)方法叫做U2-Net，其框架如下圖所示：



還與其它20個(gè)SOTA方法分別做了定量和定性比較實(shí)驗(yàn)，在結(jié)果上都取得了不錯(cuò)的結(jié)果。





在下面的定性實(shí)驗(yàn)中，也可以比較明顯的看到，該方法所提取出來(lái)的目標(biāo)，更加細(xì)粒度和精確。



那么，北大校友的新方法，又是如何被法國(guó)設(shè)計(jì)師Cyril Diagne搞成黑科技應(yīng)用的？

兼職寫代碼的法國(guó)設(shè)計(jì)師

原因無(wú)他，Cyril Diagne就是這樣一個(gè)懂程序、搞設(shè)計(jì)，關(guān)注前沿研究進(jìn)展的藝術(shù)家呀。

如果你關(guān)注他的社交動(dòng)態(tài)，也都是天馬行空的。

是那種從“詩(shī)詞歌賦”到“人生哲學(xué)”，從“服裝設(shè)計(jì)”到AR黑科技的妙人。



Cyril Diagne，現(xiàn)居法國(guó)巴黎，除了設(shè)計(jì)師，程序員，還是洛桑藝術(shù)州立大學(xué)（ECAL）媒體于交互設(shè)計(jì)系的教授及主管。

2008年從巴黎Les Gobelins學(xué)校畢業(yè)以后，跟5位同學(xué)創(chuàng)立了藝術(shù)機(jī)構(gòu)，致力于實(shí)現(xiàn)科技與藝術(shù)之間的創(chuàng)意交互，也奠定了他以后的藝術(shù)生涯，注定與科技密不可分。

2015年起，Cyril加入了谷歌文化駐巴黎的實(shí)驗(yàn)室。

與此同時(shí)，他還不斷的在Gitbub上分享他的新成果。此前，他就曾在Github上發(fā)布了一些實(shí)用的小工具。

比如，一個(gè)可在Instagram頁(yè)面的照片上添加3D效果的chrome擴(kuò)展程序。



在Web瀏覽器上直接用AR涂鴉你的臉。



輸入圖像轉(zhuǎn)3D照片。



總之，想法多、經(jīng)歷豐富，還懂技術(shù)和審美……

所以現(xiàn)在搞出AR復(fù)制這樣的奇妙應(yīng)用，打開(kāi)一扇新大門，也讓一眾網(wǎng)友服服氣氣。

也算是把北大校友小哥的牛X研究，推到了更牛X的產(chǎn)品應(yīng)用入口。

雖然還只是牛刀小試，但前景卻妥妥無(wú)限可能。

你覺(jué)得這項(xiàng)黑科技，還能怎么用？怎么玩？