AI比醫(yī)生厲害？BMJ發(fā)文擔(dān)憂AI的表現(xiàn)被 “夸大”

編者按：本文來(lái)自微信公眾號(hào)“學(xué)術(shù)頭條”（ID:SciTouTiao），作者：何靜，36氪經(jīng)授權(quán)發(fā)布。

社會(huì)的數(shù)字化意味著我們正在以前所未有的速度積累者數(shù)據(jù)，醫(yī)療方面也不例外。據(jù)IBM 估計(jì)，每個(gè)人一生中大約會(huì)積累 100 萬(wàn)兆字節(jié)的數(shù)據(jù)，全球醫(yī)療保健數(shù)據(jù)的總量每隔幾年就會(huì)翻一番。

為了處理這些大數(shù)據(jù)，越來(lái)越多的臨床醫(yī)生與計(jì)算機(jī)科學(xué)家和其他相關(guān)學(xué)科合作，利用人工智能 (AI) 技術(shù)來(lái)幫助檢測(cè)有噪音的信號(hào)。最近的一項(xiàng)預(yù)測(cè)顯示，醫(yī)療人工智能市場(chǎng)的價(jià)值從 2018 年的 20 億美元將增長(zhǎng)到 2025 年的 36 億美元，復(fù)合的年增長(zhǎng)率將達(dá)到 50%。

AI 是一個(gè)創(chuàng)新和快速發(fā)展的領(lǐng)域，具有改善患者護(hù)理和減輕醫(yī)療服務(wù)沉重負(fù)擔(dān)的潛力。深度學(xué)習(xí)是人工智能的一個(gè)分支，在醫(yī)學(xué)成像領(lǐng)域表現(xiàn)出了特別的前景。隨著越來(lái)越多的研究成果的發(fā)表，各界對(duì)醫(yī)學(xué)成像等領(lǐng)域的深度學(xué)習(xí)研究興趣日益濃厚。

AI超越醫(yī)生了嗎？

近一兩年，我們?？吹揭恍┟襟w新聞出現(xiàn)諸如“研究發(fā)現(xiàn)，谷歌人工智能比醫(yī)生早一年發(fā)現(xiàn)肺癌” 以及 “人工智能比醫(yī)生更擅長(zhǎng)診斷皮膚癌” 這樣的標(biāo)題。媒體的宣傳極大增加了公眾和商業(yè)對(duì) AI+ 醫(yī)療的興趣，也催化技術(shù)加快實(shí)施。但實(shí)際上，這些標(biāo)題背后的研究方法和偏倚風(fēng)險(xiǎn)尚未得到詳細(xì)的檢驗(yàn)。但《英國(guó)醫(yī)學(xué)雜志》(BMJ) 的研究人員最近警告說，“許多研究和媒體聲稱人工智能在解釋醫(yī)學(xué)圖像方面達(dá)到與人類專家一樣的水平，甚至比專家還好，但實(shí)際上 AI 的質(zhì)量很差，而且被夸大了，這對(duì)患者的安全構(gòu)成了風(fēng)險(xiǎn)?！?/p>

為了進(jìn)一步研究這個(gè)問題，倫敦帝國(guó)理工學(xué)院的研究人員回顧了過去 10 年發(fā)表的研究結(jié)果，系統(tǒng)地檢查研究設(shè)計(jì)、報(bào)告標(biāo)準(zhǔn)、偏倚風(fēng)險(xiǎn)，并將深度學(xué)習(xí)算法在醫(yī)學(xué)成像方面的表現(xiàn)與臨床專家進(jìn)行比較。他們的數(shù)據(jù)來(lái)源于 Medline、Embase、Cochrane 中央對(duì)照試驗(yàn)注冊(cè)簿和世界衛(wèi)生組織 2010 年至 2019 年 6 月的試驗(yàn)注冊(cè)簿，包括了 7334 份研究記錄和 968 個(gè)試驗(yàn)注冊(cè)。他們通過采用隨機(jī)試驗(yàn)登記和非隨機(jī)研究方法，以公認(rèn)的報(bào)告標(biāo)準(zhǔn)為衡量，對(duì)深度學(xué)習(xí)算法在醫(yī)學(xué)影像像中的表現(xiàn)與多個(gè)臨床專家進(jìn)行比較。

所謂的隨機(jī)試驗(yàn)是對(duì)研究對(duì)象進(jìn)行隨機(jī)化分組，設(shè)置對(duì)照組，以及應(yīng)用盲法，讓研究者和受試者雙方均無(wú)法知曉分組結(jié)果。而 CONSORT（臨床試驗(yàn)報(bào)告統(tǒng)一標(biāo)準(zhǔn)）是隨機(jī)對(duì)照試驗(yàn)的報(bào)告標(biāo)準(zhǔn)，包括了各組受試者例數(shù)、接受已分配治療的例數(shù)等，有助于幫助醫(yī)務(wù)人員了解試驗(yàn)背景、目的、干預(yù)措施、隨機(jī)方法和統(tǒng)計(jì)分析。而非隨機(jī)試驗(yàn)則是將研究對(duì)象的分組按照研究者或患者意愿進(jìn)行分組，在本試驗(yàn)中采用 TRIPOD 作為報(bào)告標(biāo)準(zhǔn)。

在隨機(jī)臨床試驗(yàn)中，研究人員發(fā)現(xiàn)了僅有 10 項(xiàng)有關(guān)深度學(xué)習(xí)的記錄，其中有 2 項(xiàng)已經(jīng)發(fā)表，分別是眼科和放射科，其余 8 項(xiàng)正在或即將招募臨床患者進(jìn)行試驗(yàn)。

AI的表現(xiàn)被“夸大”

在第一項(xiàng)試驗(yàn)中，招募了 350 名在中國(guó)眼科診所的兒科患者，這些患者分別在有無(wú) AI 平臺(tái)的情況下接受白內(nèi)障評(píng)估診斷，得到治療建議。研究人員發(fā)現(xiàn) AI 診斷的準(zhǔn)確率為 87%，而專家醫(yī)生的準(zhǔn)確率達(dá)到 99%，這些結(jié)果明顯低于專家醫(yī)生的診斷準(zhǔn)確性，但是 AI 平臺(tái)進(jìn)行診斷的平均時(shí)間卻比專家的診斷速度快。

第二項(xiàng)完成的試驗(yàn)招募了進(jìn)行腸鏡檢查的患者，發(fā)現(xiàn) AI 系統(tǒng)可以顯著檢測(cè)息肉，有較低的誤差風(fēng)險(xiǎn)，高度遵守報(bào)告標(biāo)準(zhǔn)。而在 81 個(gè)非隨機(jī)臨床試驗(yàn)中，他們發(fā)現(xiàn)只有 9 項(xiàng)研究具有前瞻性，其中只有 6 人在真實(shí)世界（real-world）的臨床環(huán)境中進(jìn)行了測(cè)試。在 81 項(xiàng)研究中的 77 項(xiàng)的摘要包含了有關(guān) AI 與臨床醫(yī)生表現(xiàn)之間的比較，有 30% 的研究表示 AI 優(yōu)于臨床醫(yī)生。

為了對(duì)研究的結(jié)果進(jìn)行獨(dú)立審查，他們還對(duì)原始數(shù)據(jù)和代碼進(jìn)行訪問時(shí)，卻受到嚴(yán)重限制，僅有 1 項(xiàng)研究提供了原始標(biāo)簽數(shù)據(jù)和代碼。通過利用偏倚風(fēng)險(xiǎn)工具對(duì)研究進(jìn)行評(píng)估，研究人員還發(fā)現(xiàn)有超過三分之二的研究被判定有較高的偏倚風(fēng)險(xiǎn)，遵守公認(rèn)的報(bào)告標(biāo)準(zhǔn)的情況較差。有四分之三的研究聲稱人工智能的表現(xiàn)可與臨床醫(yī)生相提并論，甚至更優(yōu)于臨床醫(yī)生，而只有 38% 的研究表明需要進(jìn)一步的前瞻性研究或試驗(yàn)。

總而言之，在醫(yī)學(xué)成像領(lǐng)域，很少有前瞻性的深度學(xué)習(xí)研究和隨機(jī)試驗(yàn)。大多數(shù)非隨機(jī)化試驗(yàn)不具有前瞻性，存在較高的偏倚風(fēng)險(xiǎn)，并偏離現(xiàn)有的報(bào)告標(biāo)準(zhǔn)。大多數(shù)研究缺乏數(shù)據(jù)和代碼可用性，而且人類比較器組通常很小。不過研究人員也指出此次評(píng)估研究中的一些局限性，比如遺漏研究的可能性，以及對(duì)深度學(xué)習(xí)醫(yī)學(xué)成像研究的關(guān)注，因此研究結(jié)果可能不適用于其他類型的人工智能。

盡管如此，他們說道，“目前存在著許多關(guān)于與臨床醫(yī)生等價(jià)或優(yōu)于臨床醫(yī)生的夸大說法，這在社會(huì)層面上對(duì)患者安全和人口健康構(gòu)成了潛在風(fēng)險(xiǎn)?！?他們也警告道，“過分的承諾，會(huì)使研究容易被媒體和公眾曲解，結(jié)果可能不符合患者的最佳利益，也無(wú)法最大限度地保障患者的安全，而最好的辦法是確保我們有高質(zhì)量和透明報(bào)告的證據(jù)基礎(chǔ)?！?/p>

參考資料：

[1] https://www.eurekalert.org/emb_releases/2020-03/b-co032320.php

[2] https://www.bmj.com/content/368/bmj.m689