QQ在線客服

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

2020-04-08 15:36 來(lái)源: 站長(zhǎng)資源平臺(tái) 瀏覽(691)人   

編者按:本文來(lái)自微信公眾號(hào)“機(jī)器之心”(ID:almosthuman2014),作者:Synced,參與:澤南;36氪經(jīng)授權(quán)發(fā)布。

4 月 7 日,來(lái)自清華的 RealAI(瑞萊智慧)發(fā)布了 RealSafe 人工智能安全平臺(tái),隨之推出的測(cè)試結(jié)果令人驚訝:通過平臺(tái)對(duì)微軟、亞馬遜云服務(wù)的人臉比對(duì)演示平臺(tái)進(jìn)行測(cè)試顯示,基于 RealSafe 平臺(tái)生成的對(duì)抗樣本「噪音」能夠極大干擾兩大主流人臉比對(duì)平臺(tái)的識(shí)別結(jié)果。

當(dāng)前較為領(lǐng)先,且廣泛被采用的多家人臉識(shí)別技術(shù),現(xiàn)在可以被輕易破解了。

RealAI 研究團(tuán)隊(duì)選取了一組不同的人臉圖片,通過 RealSafe 平臺(tái)對(duì)其中一張圖片生成對(duì)抗樣本,但不影響肉眼判斷,添加「對(duì)抗樣本」前后分別輸入微軟、亞馬遜人臉比對(duì)平臺(tái)中。

最終結(jié)果顯示,添加「噪音」擾動(dòng)前,兩張圖片相似度低,微軟、亞馬遜平臺(tái)判定為「不相同」,但添加擾動(dòng)后,幾套系統(tǒng)均錯(cuò)誤識(shí)別為「相同」,甚至在微軟平臺(tái)前后相似度的變化幅度高達(dá) 70% 以上。

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

檢測(cè)出人臉識(shí)別系統(tǒng)「漏洞」的 RealSafe 人工智能安全平臺(tái),是全球首個(gè)針對(duì)算法模型本身進(jìn)行安全的檢測(cè)平臺(tái),內(nèi)置領(lǐng)先的攻防算法模型,旨在為企業(yè)用戶提供從算法測(cè)評(píng)到防御升級(jí)的整體解決方案。

而針對(duì)人臉比對(duì)系統(tǒng)的攻擊測(cè)試,是 RealSafe 人工智能安全平臺(tái)為用戶提供的對(duì)抗樣本攻防在線體驗(yàn)。

具體是什么樣的效果,可以看這個(gè) Demo 視頻:

通過 RealAI 提供的測(cè)試工具,只需要上傳一張圖片作為示例,為原圖生成的帶有干擾圖片即可讓各家大廠的人臉識(shí)別系統(tǒng)將人物錯(cuò)誤地識(shí)別為指定的別人。

攻陷所有人臉識(shí)別平臺(tái)

真的能像視頻中那樣嗎?在正式發(fā)布之前,我們得到了對(duì) RealSafe 系統(tǒng)進(jìn)行測(cè)試的機(jī)會(huì),上手進(jìn)行了一番體驗(yàn)。首先是用兩個(gè)人的照片進(jìn)行原圖對(duì)比,AI 可以識(shí)別出是不同的人:

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

點(diǎn)擊「生成對(duì)抗樣本」按鈕,經(jīng)過十秒的處理時(shí)間,模型就為我們生成了一個(gè)基于 C 羅照片的「梅西」對(duì)抗樣本照片:

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

對(duì)于人類來(lái)說(shuō),除了人臉部位的多了一些不清晰的擾動(dòng)之外,經(jīng)過處理后的圖片(上圖右)完全不會(huì)讓我們認(rèn)錯(cuò)圖片上的人。但對(duì)于目前的人臉識(shí)別算法來(lái)說(shuō)情況就不一樣了:

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

在其他公司的人臉相似度對(duì)比模型上,AI 把 C 羅的照片錯(cuò)認(rèn)為是梅西:「同一個(gè)人的可能性極高」。我們嘗試了上傳梅西的不同照片,相似度應(yīng)該是 95% 左右。而如果用 C 羅未處理過的照片,或者貝爾的照片,相似度則只有 75% 左右,并顯示「同一個(gè)人的可能性較低」。

「對(duì)抗樣本」成為「AI 病毒」

我們測(cè)試了國(guó)內(nèi)幾家科技巨頭的人臉識(shí)別模型,對(duì)抗樣本的「?jìng)窝b」效果均比較明顯。瑞萊智慧的研發(fā)人員告訴我們:這種對(duì)抗樣本同樣也可以使亞馬遜、微軟等人臉識(shí)別平臺(tái)的服務(wù)出現(xiàn)嚴(yán)重的識(shí)別錯(cuò)誤。

在人臉解鎖手機(jī)和支付系統(tǒng)如此普遍的今天,對(duì)抗樣本方法的進(jìn)步讓我們開始擔(dān)心財(cái)產(chǎn)與隱私安全。在一些需要通過人臉進(jìn)行身份驗(yàn)證的場(chǎng)景,比如金融遠(yuǎn)程開戶、人臉門禁、酒店入住管理等場(chǎng)景,有意的攻擊都有可能做到頂替身份,造成財(cái)產(chǎn)、隱私等損失。

即使在應(yīng)用了活體檢測(cè)的場(chǎng)景,也有被對(duì)抗樣本攻擊的可能,其實(shí) RealAI 在去年就已通過佩戴一副含有對(duì)抗樣本圖案的眼鏡攻破了具備活體檢測(cè)功能的某些主流品牌手機(jī)。

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

RealAI 表示,這是世界唯一通過 AI 對(duì)抗樣本技術(shù)攻破商用手機(jī)人臉解鎖的案例。

看來(lái)破解 AI 形成的隱患離我們并不遠(yuǎn),為避免可能的損失,我們要更加注意對(duì)個(gè)人信息的保護(hù)。例如在一些刷臉支付場(chǎng)景中,在通過人臉驗(yàn)證是否為本人后,進(jìn)一步需求輸入手機(jī)號(hào)等信息進(jìn)行二次驗(yàn)證。在深度學(xué)習(xí)模型普遍脆弱、容易被攻擊成功的當(dāng)下,普通消費(fèi)者不能只依賴人工智能技術(shù),還需要保持足夠的警惕,保護(hù)個(gè)人信息,不然仍有可能出現(xiàn)身份被盜取等問題。

瑞萊智慧表示,經(jīng)過不斷的升級(jí)演化,今天的對(duì)抗樣本攻擊不僅僅停留在數(shù)字世界,針對(duì)物理世界的攻擊早已開始出現(xiàn):在路面上粘貼對(duì)抗樣本貼紙模仿合并條帶誤導(dǎo)自動(dòng)駕駛汽車拐進(jìn)逆行車道、佩戴對(duì)抗樣本生成的眼鏡破解手機(jī)面部解鎖、胸前張貼對(duì)抗樣本貼紙即可實(shí)現(xiàn)隱身.……

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

通過 AI 對(duì)抗樣本圖案躲避 AI 車輛檢測(cè)。

對(duì)抗樣本可以導(dǎo)致人工智能系統(tǒng)被攻擊和惡意侵?jǐn)_,產(chǎn)生與預(yù)期不符乃至危害性結(jié)果,對(duì)于人臉識(shí)別、自動(dòng)駕駛等特定領(lǐng)域,可能造成難以挽回的人員和財(cái)產(chǎn)損失,對(duì)抗樣本已經(jīng)成為人工智能系統(tǒng)可能面臨的新型「病毒」。

目前以「對(duì)抗樣本」為代表的算法安全仍是新興領(lǐng)域,業(yè)界對(duì)于如何評(píng)價(jià)算法模型的安全性并沒有清楚的定義,并且對(duì)抗樣本等攻擊手段變得愈發(fā)復(fù)雜。在開源社區(qū)、工具包的加持下,高級(jí)復(fù)雜攻擊方法快速增長(zhǎng),相關(guān)防御手段的升級(jí)卻難以跟上。

另一方面,對(duì)抗樣本等算法漏洞檢測(cè)存在較高的技術(shù)壁壘,目前市面上缺乏自動(dòng)化檢測(cè)工具,而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來(lái)妥善應(yīng)對(duì)日益增長(zhǎng)的惡意攻擊。在潛在層面上,隨著人工智能的大規(guī)模應(yīng)用,算法安全漏洞帶來(lái)的安全威脅將持續(xù)升級(jí)。

為 AI 時(shí)代打造「殺毒軟件」

當(dāng)然,RealSafe 還可以幫助人們修復(fù)這些漏洞。正如網(wǎng)絡(luò)安全時(shí)代,網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件,發(fā)現(xiàn)計(jì)算機(jī)潛在病毒威脅,提供一鍵系統(tǒng)優(yōu)化、清理垃圾跟漏洞修復(fù)等功能。RealAI 團(tuán)隊(duì)希望通過 RealSafe 平臺(tái)打造出人工智能時(shí)代的「殺毒軟件」,為構(gòu)建人工智能系統(tǒng)防火墻提供支持。

除了對(duì)抗樣本技術(shù),今天推出的 RealSafe 平臺(tái)支持另外兩大功能模塊:模型安全測(cè)評(píng)和防御解決方案。

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

模型安全評(píng)測(cè)主要為用戶提供 AI 模型安全性評(píng)測(cè)服務(wù)。用戶只需接入所需測(cè)評(píng)模型的 SDK 或 API 接口,選擇平臺(tái)內(nèi)置或者自行上傳的數(shù)據(jù)集,平臺(tái)將基于多種算法生成對(duì)抗樣本模擬攻擊,并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化,給出模型安全評(píng)分及詳細(xì)的測(cè)評(píng)報(bào)告。目前 RealSafe 已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

人臉識(shí)別再曝安全漏洞:清華創(chuàng)業(yè)團(tuán)隊(duì)推出全球首個(gè)AI模型「殺毒軟件」

防御解決方案則是為用戶提供模型安全性升級(jí)服務(wù),RealSafe 平臺(tái)支持五種去除對(duì)抗噪聲的通用防御方法,可實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的自動(dòng)去噪處理,破壞攻擊者惡意添加的對(duì)抗噪聲。根據(jù)上述的模型安全評(píng)測(cè)結(jié)果,用戶可自行選擇合適的防御方案,從而達(dá)到一鍵提升模型安全性的目的。

瑞萊智慧表示,隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張,RealSafe 平臺(tái)還將持續(xù)提供更加豐富的 AI 防御手段,幫助用戶獲得實(shí)時(shí)且自動(dòng)化的漏洞檢測(cè)和修復(fù)能力。

「零編碼」+「可量化」:高效應(yīng)對(duì)算法威脅

由 2018 年 7 月成立的瑞萊智慧,是一家孵化自清華大學(xué) AI 研究院的科技公司,它由清華 AI 研究院院長(zhǎng)張鈸、教授朱軍擔(dān)任首席科學(xué)家,田天任 CEO。RealAI 在 AI 安全領(lǐng)域擁有國(guó)際領(lǐng)先的技術(shù)優(yōu)勢(shì),團(tuán)隊(duì)曾率先提出多項(xiàng)攻防算法,相關(guān)研究成果曾被圖靈獎(jiǎng)得主作為代表性方法大幅引用,被主流開源軟件 FoolBox、Cleverhans 等收錄為標(biāo)準(zhǔn)的對(duì)抗攻擊算法。

在人工智能領(lǐng)域的國(guó)際大賽中,RealAI 團(tuán)隊(duì)與清華聯(lián)合組成的戰(zhàn)隊(duì)曾戰(zhàn)勝斯坦福、騰訊安全等世界頂級(jí)高校、研究機(jī)構(gòu)獲得多項(xiàng)世界冠軍。

RealAI 表示,本次推出的算法模型安全檢測(cè)平臺(tái),除了可以幫助企業(yè)高效應(yīng)對(duì)算法威脅還具備以下兩大優(yōu)勢(shì):

    組件化、零編碼的在線測(cè)評(píng):相較于 ART、Foolbox 等開源工具需要自行部署、編寫代碼,RealSafe 平臺(tái)采用組件化、零編碼的功能設(shè)置,免去了重復(fù)造輪子的精力與時(shí)間消耗,用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評(píng)估,極大降低了算法評(píng)測(cè)的技術(shù)難度,學(xué)習(xí)成本低,無(wú)需擁有專業(yè)算法能力也可以上手操作。

    可視化、可量化的評(píng)測(cè)結(jié)果:為了幫助用戶提高對(duì)模型安全性的概念,RealSafe 平臺(tái)采用可量化的形式對(duì)安全評(píng)測(cè)結(jié)果進(jìn)行展示,根據(jù)模型在對(duì)抗樣本攻擊下的表現(xiàn)進(jìn)行評(píng)分,評(píng)分越高則模型安全性越高。此外,RealSafe 平臺(tái)提供安全性變化展示,經(jīng)過防御處理后的安全評(píng)分變化以及模型效果變化一目了然。

    考慮到當(dāng)前人臉識(shí)別技術(shù)應(yīng)用最為廣泛,RealAI 此次推出的 RealSafe 人工智能安全平臺(tái)主要支持針對(duì)人臉比對(duì)場(chǎng)景的模型安全評(píng)估與檢測(cè)。未來(lái) RealSafe 平臺(tái)還將持續(xù)迭代,陸續(xù)上線針對(duì)目標(biāo)檢測(cè)、圖像分類等應(yīng)用場(chǎng)景的模型安全檢測(cè),旨在通過安全可控的人工智能為更多場(chǎng)景保駕護(hù)航。

    今年 3 月,RealAI 獲得了天使+輪的融資,近兩輪總額已達(dá)到 1 億元人民幣。對(duì)于這家公司而言,如何探索技術(shù)商業(yè)化的道路已成為擺在面前的挑戰(zhàn)。這家公司表示將致力于打造安全可控的第三代人工智能,實(shí)現(xiàn)安全(Robust)、可擴(kuò)展(Extendable)、可靠(Assurable)和落地(Landable)的 AI 解決方案。

    RealAI 表示,此次推出的安全平臺(tái)只是研發(fā)人員們的一小步嘗試,這家公司希望能通過安全可控 AI 賦能行業(yè),向金融領(lǐng)域提供更可靠的大數(shù)據(jù)風(fēng)控、反欺詐、營(yíng)銷等解決方案,在工業(yè)領(lǐng)域提供生產(chǎn)運(yùn)維智能決策和智能裝備解決方案,在公共安全治理領(lǐng)域提供公共數(shù)據(jù)安全、網(wǎng)絡(luò)內(nèi)容安全等解決方案。

    此前在金融領(lǐng)域內(nèi),該公司已推出了開箱即用的建模平臺(tái) RealBox。其內(nèi)嵌了 RealAI 自研的貝葉斯深度學(xué)習(xí)算法。通過貝葉斯算法,該工具實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界不確定性的刻畫以及可描述變量之間的關(guān)系,解決了當(dāng)前 AI 普遍存在的不可解釋的痛點(diǎn)。

【版權(quán)與免責(zé)聲明】如發(fā)現(xiàn)內(nèi)容存在版權(quán)問題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息發(fā)郵件至 kefu@2898.com ,我們將及時(shí)溝通與處理。 本站內(nèi)容除了2898站長(zhǎng)資源平臺(tái)( www.afrimangol.com )原創(chuàng)外,其它均為網(wǎng)友轉(zhuǎn)載內(nèi)容,涉及言論、版權(quán)與本站無(wú)關(guān)。