Facebook 薅羊毛？賽前未說清規(guī)則，賽后刪除冠、亞軍成績

6 月 13 日，F(xiàn)acebook 公布了 Deepfake 檢測挑戰(zhàn)賽結(jié)果，第一名團隊算法識別準確率達 82.56%，整體平均準確率為 65.18%，接近 2/3。

但是，挑戰(zhàn)賽的第一、二名，被賽事方以未規(guī)范使用外部數(shù)據(jù)集的理由，刪除了解決方案和排名。

2019 年 9 月，F(xiàn)acebook 聯(lián)合微軟等公司，以及包括麻省理工、牛津大學(xué)在內(nèi)的幾所高校，發(fā)起 deepfake 的檢測挑戰(zhàn)賽。同年 12 月，微軟在 NeurIPS 2019 大會上公布數(shù)據(jù)集，挑戰(zhàn)賽正式開始，比賽成果提交截止到今年 3 月 31 日。

比賽在數(shù)據(jù)競賽平臺 Kaggle 上進行，共有 2114 名開發(fā)者參與比賽，最終輸出 3.5 萬種檢測算法。

Facebook 給參賽者開放訪問 100000 多個視頻的獨特數(shù)據(jù)集權(quán)限，并提供 1000 萬美元的研究資助和獎勵。谷歌母公司 Alphabet 旗下的 Jigsaw 和谷歌一起，提供了 3000 個付費演員的新視頻數(shù)據(jù)集，以幫助改善偵查技術(shù)。亞馬遜提供 100 萬美元的云信用額度支持該挑戰(zhàn)。

然而，比賽結(jié)果并沒有達到許多人的預(yù)期。排名第一但已經(jīng)被刪除方案的模型，基于Facebook 提供的數(shù)據(jù)集中，可以識別出 82.56% 的 deepfake，但當該模型去檢測一組新的數(shù)據(jù)時，識別率下降到 65%。

65% 的識別率或許還沒邁過可實際使用的門檻。通常，人們認為，識別率達到 90%，才能對統(tǒng)計數(shù)據(jù)產(chǎn)生實際作用，并可以被允許實際應(yīng)用。

此外，F(xiàn)acebook 還未公布整體誤報率，而這非常重要。

誤報率為 0 時，即便模型只能檢測出 2/3 的 deepfake，并且自動標記或清除，這對打擊造假也非常有幫助。反之，誤報率會導(dǎo)致非常嚴重的后果，尤其再加上互聯(lián)網(wǎng)平臺的規(guī)模，即便是 1% 的誤報，也會帶來大量虛假信息流傳。

有人說，F(xiàn)acebook 辦這個比賽是只是薅了一把開發(fā)者的羊毛。說好第一名和第二名共有 80 萬美元的獎金，但比賽結(jié)果公布之后，他們的成績都被取消了，原因是使用外部數(shù)據(jù)集時不符合比賽規(guī)則。

比賽前，他們按照Facebook 和 Kaggle 規(guī)定的：使用外部數(shù)據(jù)集時，必須可供競賽的所有參賽者用于比賽目的，其他參與者可無償使用；以及在外部數(shù)據(jù)的其他聲明中，必須可用于商業(yè)用途，不局限于教學(xué)用途的規(guī)則使用外部數(shù)據(jù)集。

但比賽結(jié)束后，他們被告知，使用外部數(shù)據(jù)集還要遵守附加規(guī)則。

特定比賽規(guī)則第 4 節(jié)中，有兩條規(guī)定：

如果提交文檔的任何部分描述，標識或包括了不是個人參與者或團隊成員的任何人，則您必須具有所描述，標識或包括的個人的所有許可和權(quán)利，并且您同意提供競賽贊助商和 PAI，并根據(jù)要求以書面形式確認這些權(quán)限。

提交文件不得侵犯，挪用或侵犯任何第三方的任何權(quán)利，包括但不限于版權(quán)（包括精神權(quán)利），商標，商業(yè)秘密，專利或隱私權(quán)或公開權(quán)。

簡單來說，就參賽者使用外部數(shù)據(jù)集，必須提供其中所涉及到的每個人的許可證明。

“不幸的是，由于數(shù)據(jù)來自公共數(shù)據(jù)集，因此我們沒有其中每個人的具體書面許可，也沒有任何方法識別這些人的身份?！北荣惤Y(jié)束之后，排名第一的解決方案開發(fā)者之一Giba表示，這樣的要求根本沒法實現(xiàn)。

而且大多數(shù)參賽者，都沒意識到上述附加限制的存在，“我們在比賽過程中，沒有意識到外部數(shù)據(jù)集屬于‘文檔’以及外部數(shù)據(jù)規(guī)則…… 在比賽中，有關(guān)外部數(shù)據(jù)的規(guī)則一再被闡明，因此我們想知道為什么 Kaggle 從來沒有澄清，外部數(shù)據(jù)必須另外遵循限制性更強的規(guī)則來提交文檔?！?/p>

排名第二的解決方案，因為使用了faceforensic ++ 數(shù)據(jù)，也遭到刪除。其開發(fā)者 Shengtao Xiao 表示，即便他們事后找了與 faceforensic ++ 數(shù)據(jù)集所有者，確認這是一個公共數(shù)據(jù)集，也無濟于事。

Shengtao Xiao 還說，“我們認為，一開始就聲明不允許外部數(shù)據(jù)參與此競賽會更加清楚。我們對從排行榜中刪除分數(shù)的最終決定深感失望。這只是消除了我們?yōu)檫@場比賽做的所有努力?！?/p>