人臉識(shí)別再曝安全漏洞：清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

編者按：本文來(lái)自微信公眾號(hào)“機(jī)器之心”（ID:almosthuman2014），作者：Synced，參與：澤南；36氪經(jīng)授權(quán)發(fā)布。

4 月 7 日，來(lái)自清華的 RealAI（瑞萊智慧）發(fā)布了 RealSafe 人工智能安全平臺(tái)，隨之推出的測(cè)試結(jié)果令人驚訝：通過平臺(tái)對(duì)微軟、亞馬遜云服務(wù)的人臉比對(duì)演示平臺(tái)進(jìn)行測(cè)試顯示，基于 RealSafe 平臺(tái)生成的對(duì)抗樣本「噪音」能夠極大干擾兩大主流人臉比對(duì)平臺(tái)的識(shí)別結(jié)果。

當(dāng)前較為領(lǐng)先，且廣泛被采用的多家人臉識(shí)別技術(shù)，現(xiàn)在可以被輕易破解了。

RealAI 研究團(tuán)隊(duì)選取了一組不同的人臉圖片，通過 RealSafe 平臺(tái)對(duì)其中一張圖片生成對(duì)抗樣本，但不影響肉眼判斷，添加「對(duì)抗樣本」前后分別輸入微軟、亞馬遜人臉比對(duì)平臺(tái)中。

最終結(jié)果顯示，添加「噪音」擾動(dòng)前，兩張圖片相似度低，微軟、亞馬遜平臺(tái)判定為「不相同」，但添加擾動(dòng)后，幾套系統(tǒng)均錯(cuò)誤識(shí)別為「相同」，甚至在微軟平臺(tái)前后相似度的變化幅度高達(dá) 70% 以上。

檢測(cè)出人臉識(shí)別系統(tǒng)「漏洞」的 RealSafe 人工智能安全平臺(tái)，是全球首個(gè)針對(duì)算法模型本身進(jìn)行安全的檢測(cè)平臺(tái)，內(nèi)置領(lǐng)先的攻防算法模型，旨在為企業(yè)用戶提供從算法測(cè)評(píng)到防御升級(jí)的整體解決方案。

而針對(duì)人臉比對(duì)系統(tǒng)的攻擊測(cè)試，是 RealSafe 人工智能安全平臺(tái)為用戶提供的對(duì)抗樣本攻防在線體驗(yàn)。

具體是什么樣的效果，可以看這個(gè) Demo 視頻：

通過 RealAI 提供的測(cè)試工具，只需要上傳一張圖片作為示例，為原圖生成的帶有干擾圖片即可讓各家大廠的人臉識(shí)別系統(tǒng)將人物錯(cuò)誤地識(shí)別為指定的別人。

攻陷所有人臉識(shí)別平臺(tái)

真的能像視頻中那樣嗎？在正式發(fā)布之前，我們得到了對(duì) RealSafe 系統(tǒng)進(jìn)行測(cè)試的機(jī)會(huì)，上手進(jìn)行了一番體驗(yàn)。首先是用兩個(gè)人的照片進(jìn)行原圖對(duì)比，AI 可以識(shí)別出是不同的人：

點(diǎn)擊「生成對(duì)抗樣本」按鈕，經(jīng)過十秒的處理時(shí)間，模型就為我們生成了一個(gè)基于 C 羅照片的「梅西」對(duì)抗樣本照片：

對(duì)于人類來(lái)說(shuō)，除了人臉部位的多了一些不清晰的擾動(dòng)之外，經(jīng)過處理后的圖片（上圖右）完全不會(huì)讓我們認(rèn)錯(cuò)圖片上的人。但對(duì)于目前的人臉識(shí)別算法來(lái)說(shuō)情況就不一樣了：

在其他公司的人臉相似度對(duì)比模型上，AI 把 C 羅的照片錯(cuò)認(rèn)為是梅西：「同一個(gè)人的可能性極高」。我們嘗試了上傳梅西的不同照片，相似度應(yīng)該是 95% 左右。而如果用 C 羅未處理過的照片，或者貝爾的照片，相似度則只有 75% 左右，并顯示「同一個(gè)人的可能性較低」。

「對(duì)抗樣本」成為「AI 病毒」

我們測(cè)試了國(guó)內(nèi)幾家科技巨頭的人臉識(shí)別模型，對(duì)抗樣本的「?jìng)窝b」效果均比較明顯。瑞萊智慧的研發(fā)人員告訴我們：這種對(duì)抗樣本同樣也可以使亞馬遜、微軟等人臉識(shí)別平臺(tái)的服務(wù)出現(xiàn)嚴(yán)重的識(shí)別錯(cuò)誤。

在人臉解鎖手機(jī)和支付系統(tǒng)如此普遍的今天，對(duì)抗樣本方法的進(jìn)步讓我們開始擔(dān)心財(cái)產(chǎn)與隱私安全。在一些需要通過人臉進(jìn)行身份驗(yàn)證的場(chǎng)景，比如金融遠(yuǎn)程開戶、人臉門禁、酒店入住管理等場(chǎng)景，有意的攻擊都有可能做到頂替身份，造成財(cái)產(chǎn)、隱私等損失。

即使在應(yīng)用了活體檢測(cè)的場(chǎng)景，也有被對(duì)抗樣本攻擊的可能，其實(shí) RealAI 在去年就已通過佩戴一副含有對(duì)抗樣本圖案的眼鏡攻破了具備活體檢測(cè)功能的某些主流品牌手機(jī)。

RealAI 表示，這是世界唯一通過 AI 對(duì)抗樣本技術(shù)攻破商用手機(jī)人臉解鎖的案例。

看來(lái)破解 AI 形成的隱患離我們并不遠(yuǎn)，為避免可能的損失，我們要更加注意對(duì)個(gè)人信息的保護(hù)。例如在一些刷臉支付場(chǎng)景中，在通過人臉驗(yàn)證是否為本人后，進(jìn)一步需求輸入手機(jī)號(hào)等信息進(jìn)行二次驗(yàn)證。在深度學(xué)習(xí)模型普遍脆弱、容易被攻擊成功的當(dāng)下，普通消費(fèi)者不能只依賴人工智能技術(shù)，還需要保持足夠的警惕，保護(hù)個(gè)人信息，不然仍有可能出現(xiàn)身份被盜取等問題。

瑞萊智慧表示，經(jīng)過不斷的升級(jí)演化，今天的對(duì)抗樣本攻擊不僅僅停留在數(shù)字世界，針對(duì)物理世界的攻擊早已開始出現(xiàn)：在路面上粘貼對(duì)抗樣本貼紙模仿合并條帶誤導(dǎo)自動(dòng)駕駛汽車拐進(jìn)逆行車道、佩戴對(duì)抗樣本生成的眼鏡破解手機(jī)面部解鎖、胸前張貼對(duì)抗樣本貼紙即可實(shí)現(xiàn)隱身.……

通過 AI 對(duì)抗樣本圖案躲避 AI 車輛檢測(cè)。

對(duì)抗樣本可以導(dǎo)致人工智能系統(tǒng)被攻擊和惡意侵?jǐn)_，產(chǎn)生與預(yù)期不符乃至危害性結(jié)果，對(duì)于人臉識(shí)別、自動(dòng)駕駛等特定領(lǐng)域，可能造成難以挽回的人員和財(cái)產(chǎn)損失，對(duì)抗樣本已經(jīng)成為人工智能系統(tǒng)可能面臨的新型「病毒」。

目前以「對(duì)抗樣本」為代表的算法安全仍是新興領(lǐng)域，業(yè)界對(duì)于如何評(píng)價(jià)算法模型的安全性并沒有清楚的定義，并且對(duì)抗樣本等攻擊手段變得愈發(fā)復(fù)雜。在開源社區(qū)、工具包的加持下，高級(jí)復(fù)雜攻擊方法快速增長(zhǎng)，相關(guān)防御手段的升級(jí)卻難以跟上。

另一方面，對(duì)抗樣本等算法漏洞檢測(cè)存在較高的技術(shù)壁壘，目前市面上缺乏自動(dòng)化檢測(cè)工具，而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來(lái)妥善應(yīng)對(duì)日益增長(zhǎng)的惡意攻擊。在潛在層面上，隨著人工智能的大規(guī)模應(yīng)用，算法安全漏洞帶來(lái)的安全威脅將持續(xù)升級(jí)。

為 AI 時(shí)代打造「殺毒軟件」

當(dāng)然，RealSafe 還可以幫助人們修復(fù)這些漏洞。正如網(wǎng)絡(luò)安全時(shí)代，網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件，發(fā)現(xiàn)計(jì)算機(jī)潛在病毒威脅，提供一鍵系統(tǒng)優(yōu)化、清理垃圾跟漏洞修復(fù)等功能。RealAI 團(tuán)隊(duì)希望通過 RealSafe 平臺(tái)打造出人工智能時(shí)代的「殺毒軟件」，為構(gòu)建人工智能系統(tǒng)防火墻提供支持。

除了對(duì)抗樣本技術(shù)，今天推出的 RealSafe 平臺(tái)支持另外兩大功能模塊：模型安全測(cè)評(píng)和防御解決方案。

模型安全評(píng)測(cè)主要為用戶提供 AI 模型安全性評(píng)測(cè)服務(wù)。用戶只需接入所需測(cè)評(píng)模型的 SDK 或 API 接口，選擇平臺(tái)內(nèi)置或者自行上傳的數(shù)據(jù)集，平臺(tái)將基于多種算法生成對(duì)抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化，給出模型安全評(píng)分及詳細(xì)的測(cè)評(píng)報(bào)告。目前 RealSafe 已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級(jí)服務(wù)，RealSafe 平臺(tái)支持五種去除對(duì)抗噪聲的通用防御方法，可實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的自動(dòng)去噪處理，破壞攻擊者惡意添加的對(duì)抗噪聲。根據(jù)上述的模型安全評(píng)測(cè)結(jié)果，用戶可自行選擇合適的防御方案，從而達(dá)到一鍵提升模型安全性的目的。

瑞萊智慧表示，隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張，RealSafe 平臺(tái)還將持續(xù)提供更加豐富的 AI 防御手段，幫助用戶獲得實(shí)時(shí)且自動(dòng)化的漏洞檢測(cè)和修復(fù)能力。

「零編碼」+「可量化」：高效應(yīng)對(duì)算法威脅

由 2018 年 7 月成立的瑞萊智慧，是一家孵化自清華大學(xué) AI 研究院的科技公司，它由清華 AI 研究院院長(zhǎng)張鈸、教授朱軍擔(dān)任首席科學(xué)家，田天任 CEO。RealAI 在 AI 安全領(lǐng)域擁有國(guó)際領(lǐng)先的技術(shù)優(yōu)勢(shì)，團(tuán)隊(duì)曾率先提出多項(xiàng)攻防算法，相關(guān)研究成果曾被圖靈獎(jiǎng)得主作為代表性方法大幅引用，被主流開源軟件 FoolBox、Cleverhans 等收錄為標(biāo)準(zhǔn)的對(duì)抗攻擊算法。

在人工智能領(lǐng)域的國(guó)際大賽中，RealAI 團(tuán)隊(duì)與清華聯(lián)合組成的戰(zhàn)隊(duì)曾戰(zhàn)勝斯坦福、騰訊安全等世界頂級(jí)高校、研究機(jī)構(gòu)獲得多項(xiàng)世界冠軍。

RealAI 表示，本次推出的算法模型安全檢測(cè)平臺(tái)，除了可以幫助企業(yè)高效應(yīng)對(duì)算法威脅還具備以下兩大優(yōu)勢(shì)：

組件化、零編碼的在線測(cè)評(píng)：相較于 ART、Foolbox 等開源工具需要自行部署、編寫代碼，RealSafe 平臺(tái)采用組件化、零編碼的功能設(shè)置，免去了重復(fù)造輪子的精力與時(shí)間消耗，用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評(píng)估，極大降低了算法評(píng)測(cè)的技術(shù)難度，學(xué)習(xí)成本低，無(wú)需擁有專業(yè)算法能力也可以上手操作。

可視化、可量化的評(píng)測(cè)結(jié)果：為了幫助用戶提高對(duì)模型安全性的概念，RealSafe 平臺(tái)采用可量化的形式對(duì)安全評(píng)測(cè)結(jié)果進(jìn)行展示，根據(jù)模型在對(duì)抗樣本攻擊下的表現(xiàn)進(jìn)行評(píng)分，評(píng)分越高則模型安全性越高。此外，RealSafe 平臺(tái)提供安全性變化展示，經(jīng)過防御處理后的安全評(píng)分變化以及模型效果變化一目了然。

考慮到當(dāng)前人臉識(shí)別技術(shù)應(yīng)用最為廣泛，RealAI 此次推出的 RealSafe 人工智能安全平臺(tái)主要支持針對(duì)人臉比對(duì)場(chǎng)景的模型安全評(píng)估與檢測(cè)。未來(lái) RealSafe 平臺(tái)還將持續(xù)迭代，陸續(xù)上線針對(duì)目標(biāo)檢測(cè)、圖像分類等應(yīng)用場(chǎng)景的模型安全檢測(cè)，旨在通過安全可控的人工智能為更多場(chǎng)景保駕護(hù)航。

今年 3 月，RealAI 獲得了天使+輪的融資，近兩輪總額已達(dá)到 1 億元人民幣。對(duì)于這家公司而言，如何探索技術(shù)商業(yè)化的道路已成為擺在面前的挑戰(zhàn)。這家公司表示將致力于打造安全可控的第三代人工智能，實(shí)現(xiàn)安全（Robust）、可擴(kuò)展（Extendable）、可靠（Assurable）和落地（Landable）的 AI 解決方案。

RealAI 表示，此次推出的安全平臺(tái)只是研發(fā)人員們的一小步嘗試，這家公司希望能通過安全可控 AI 賦能行業(yè)，向金融領(lǐng)域提供更可靠的大數(shù)據(jù)風(fēng)控、反欺詐、營(yíng)銷等解決方案，在工業(yè)領(lǐng)域提供生產(chǎn)運(yùn)維智能決策和智能裝備解決方案，在公共安全治理領(lǐng)域提供公共數(shù)據(jù)安全、網(wǎng)絡(luò)內(nèi)容安全等解決方案。

此前在金融領(lǐng)域內(nèi)，該公司已推出了開箱即用的建模平臺(tái) RealBox。其內(nèi)嵌了 RealAI 自研的貝葉斯深度學(xué)習(xí)算法。通過貝葉斯算法，該工具實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界不確定性的刻畫以及可描述變量之間的關(guān)系，解決了當(dāng)前 AI 普遍存在的不可解釋的痛點(diǎn)。