發(fā)布時間:2023-10-31 瀏覽量:2276
近年來,AI智能科技已逐漸滲入到醫(yī)療領(lǐng)域中,如通過自動分割工具來分析生物成像,特別是肌肉骨骼系統(tǒng)。
本文系統(tǒng)回顧了肌肉骨骼結(jié)構(gòu)分析的問題(如樣本小、數(shù)據(jù)不均勻),以及不同研究者使用的策略,并通過文獻(xiàn)搜索與框架分析,覆蓋解剖結(jié)構(gòu)、生物成像技術(shù)、前/后處理、訓(xùn)練/驗證/測試、網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、性能指標(biāo)等。
這些發(fā)現(xiàn)將幫助醫(yī)生更好理解這些AI工具的潛在益處和局限。
1
簡介
AI學(xué)習(xí)工具與圖像分割
圖像分割是一個重要過程,用于簡化圖像分析和定位重點區(qū)域,以提高醫(yī)療干預(yù)的準(zhǔn)確性。然而,手動分割存在操作員技能水平和時間成本的限制,因此需要尋找一種自動化解決方案。
人工智能,如深度學(xué)習(xí)方法,通過自動化處理視覺任務(wù),大數(shù)據(jù)學(xué)習(xí)分析,可能成為解決這些問題的潛在工具,但由于偽影影響和器官變化,其結(jié)果依舊存在誤差。
為打破局限,提出了基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)范式。它是一種模仿大腦工作原理的算法,通過組合不同節(jié)點連接來學(xué)習(xí)對象的不同特征和解決各類任務(wù)。
多層神經(jīng)網(wǎng)絡(luò)被稱為深度神經(jīng)網(wǎng)絡(luò),每層可以從生物圖像中提取特定信息。從檢測顏色和邊緣到更深層次、更復(fù)雜的特征(具有更語義化的含義)。允許網(wǎng)絡(luò)從數(shù)據(jù)學(xué)習(xí)中識別重要特征,并對解剖結(jié)構(gòu)進行分割。
深度學(xué)習(xí)分割算法的使用需要考慮其開發(fā)策略,以確保結(jié)果的正確解釋。
2
研究設(shè)計
文獻(xiàn)檢索與篩查
按照PRISMA報告標(biāo)準(zhǔn),我們在PUBMED中檢索了深度學(xué)習(xí)、肌骨系統(tǒng)、圖像分割的文章,共140篇。根據(jù)納入/排除標(biāo)準(zhǔn),其中101篇符合要求,還有14份文檔(文章/書籍)用于支持一般討論。評估采用PICO框架。
3
研究結(jié)果
文獻(xiàn)分析與結(jié)果
文獻(xiàn)顯示,針對不同的成像模態(tài)已經(jīng)開發(fā)了深度學(xué)習(xí)算法,用于分割各類肌肉骨骼結(jié)構(gòu):33%與下肢相關(guān)(骨骼、肌肉、關(guān)節(jié)、膝蓋軟骨/半月板/韌帶)、8%與上肢相關(guān)(骨骼、肩部肌肉、肌腱)、34%與軀干相關(guān)(椎骨、椎間盤、肌肉、肋骨)、3%與骨盆相關(guān)(骨骼、肌肉)、14%與頭部相關(guān)(眼眶骨、下頜骨、上頜骨、顳骨、顱骨),8%與全身相關(guān)(骨骼、肌肉)。在醫(yī)學(xué)成像方面,有39%的研究使用核磁共振成像(MRI),9%使用超聲波成像(US),41%使用計算機斷層掃描(CT),9%使用X射線,2%使用多模態(tài)成像(見表1)。
表1 用深度學(xué)習(xí)方法研究對象分割的肌肉骨骼解剖結(jié)構(gòu)和相關(guān)生物成像技術(shù)
與成像模態(tài)相關(guān)的主要困難如:圖像對比度可變、圖像強度固有的異質(zhì)性、因運動引起的圖像偽影、空間分辨率(例如,低分辨率圖像中頸椎成為單一連接的脊柱區(qū)域,這對調(diào)查具有誤導(dǎo)性)等因素。因此,一些作者整合了多模態(tài)成像信息,以結(jié)合各個模態(tài)的優(yōu)勢。
4
發(fā)展與挑戰(zhàn)
即有潛力,也有瓶頸
小樣本量的策略
成功使用深度學(xué)習(xí)方法需要高質(zhì)量的帶標(biāo)簽圖像數(shù)據(jù)集,用于訓(xùn)練網(wǎng)絡(luò)。這通常需要耗費大量時間和精力來手動或半自動地對參考數(shù)據(jù)進行注釋。但不同觀察者的注釋可能存在差異。因此需要足夠多的圖像來確??煽啃?。然而,獲取大規(guī)模的公開數(shù)據(jù)集并不容易。
使用小樣本來訓(xùn)練網(wǎng)絡(luò)可能會導(dǎo)致過擬合問題,即網(wǎng)絡(luò)在訓(xùn)練數(shù)據(jù)上表現(xiàn)很好,但在新數(shù)據(jù)上表現(xiàn)不佳,因為它對數(shù)據(jù)中的細(xì)微變化過于敏感。
數(shù)據(jù)增強,即人為增加訓(xùn)練樣本數(shù)量,通常用于解決過擬合問題和提高網(wǎng)絡(luò)效率。
最近的數(shù)據(jù)增強技術(shù)還包括各種生成方法。其中,生成對抗網(wǎng)絡(luò)(GAN)是一種深度學(xué)習(xí)方法,它識別了數(shù)據(jù)集的內(nèi)在分布,并利用它生成逼真的合成樣本。對于分辨率低、圖像偽影或由于不同掃描儀采集而引起的變化等樣本,數(shù)據(jù)增強過程還具有增加模型穩(wěn)健性的優(yōu)勢。
圖1 圖像變換的示例,翻轉(zhuǎn)(頂部)和旋轉(zhuǎn)(底部)
為了管理小樣本數(shù)據(jù)集,另一種解決方案是遷移學(xué)習(xí)技術(shù),這在超過10%的分析論文中得以實施。
遷移學(xué)習(xí)的目標(biāo)是使現(xiàn)有的算法可重用于新的數(shù)據(jù)集,因為它包括使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)(在另一個上下文數(shù)據(jù)集中進行訓(xùn)練)并將其定制為特定的分割任務(wù),以便算法單單學(xué)習(xí)新數(shù)據(jù)的特定特征(例如,來自新中心的新數(shù)據(jù))。
用于數(shù)據(jù)均勻分布的圖像預(yù)處理技術(shù)
建立數(shù)據(jù)庫時的一個主要問題是數(shù)據(jù)通常來自不同醫(yī)院、使用不同設(shè)備采集、具有不同的分辨率、噪聲和照明,而且缺乏一致性。
因此,數(shù)據(jù)在不同受試者之間,甚至在同一受試者不同時間監(jiān)測時都可能存在巨大差異。為了獲得最佳的計算機視覺結(jié)果,以改善圖像特征并消除不需要的偽影,所以必須對數(shù)據(jù)進行預(yù)處理。
為了確保不改變圖像的信息內(nèi)容,必須了解要分割的解剖結(jié)構(gòu)的特性、潛在的變化、研究人群、研究問題以及后續(xù)處理和分析步驟的穩(wěn)健性。舉例來說,在圖像強度歸一化時,作為一致參考的組織應(yīng)始終存在于圖像中,并且不太可能受到病理過程的影響。
過半的研究者在深度學(xué)習(xí)訓(xùn)練之前,實施了預(yù)處理。最常見的比如歸一化;直方圖均衡化,用于通過擴展圖像的強度值來增加圖像的對比度;以及基于強度/尺度的濾波(見圖2)。
圖2 :圖像預(yù)處理:應(yīng)用于原始圖像的濾波技術(shù)
同時,裁剪和調(diào)整圖像大小的方法通常用于節(jié)省內(nèi)存空間并確保圖像符合網(wǎng)絡(luò)的輸入要求。如果感興趣區(qū)域相對于背景很小,那么一些操作(如重新采樣、降低分辨率、裁剪)可能會導(dǎo)致信息的丟失,因此會失去對象細(xì)節(jié)和周圍環(huán)境的上下文數(shù)據(jù)。
相反,可以考慮兩次運行的方法,首先在原始圖像上進行處理,以便網(wǎng)絡(luò)可以學(xué)習(xí)到在經(jīng)過預(yù)處理的圖像中無法捕獲的重要特征。如果不經(jīng)過預(yù)先處理,會提高計算機處理數(shù)據(jù)所需的時間。
肌肉骨骼結(jié)構(gòu)分割的神經(jīng)網(wǎng)絡(luò)架構(gòu)
多年來,已經(jīng)開發(fā)了許多不同的網(wǎng)絡(luò)架構(gòu)來分割肌肉骨骼結(jié)構(gòu)。其中一種流行的模型是U-Net,它是一種卷積神經(jīng)網(wǎng)絡(luò),用于成像領(lǐng)域的任務(wù)。在本次研究中,超過60%的作者選擇了基于U-Net的網(wǎng)絡(luò),因為它在生物醫(yī)學(xué)圖像分割中非常有效,即使數(shù)據(jù)有限。
如果想要進一步提高網(wǎng)絡(luò)的分割能力,可以考慮引入注意模塊。這種模塊可以幫助網(wǎng)絡(luò)更好地關(guān)注圖像中重要的結(jié)構(gòu)區(qū)域,從而提高性能。
不同的深度學(xué)習(xí)架構(gòu)之間進行比較是一項復(fù)雜的任務(wù)。一個良好的神經(jīng)網(wǎng)絡(luò)性能指標(biāo),是它能否與人類觀察者的表現(xiàn)相媲美。然而,不同的作者可能會選擇不同的性能指標(biāo)來評估結(jié)果,具體情況取決于研究的特定方向。
例如,對于一種可以識別患有肌肉萎縮風(fēng)險較高患者的臨床實用算法,關(guān)鍵是盡量減少假陰性。相反,可以稍微接納多一些的假陽性,因為治療肌肉萎縮需要更好的營養(yǎng)和更多的功能性活動,這些不太可能對患者造成傷害。
因此,驗證神經(jīng)網(wǎng)絡(luò)性能的方法之一是將所選技術(shù)與手動分割以及其他網(wǎng)絡(luò)架構(gòu)進行比較。用于量化網(wǎng)絡(luò)性能的最常見指標(biāo)包括DICE指數(shù)(DSC),交集聯(lián)合(IoU或Jaccard指數(shù)),豪斯多夫距離(HD)和表面距離(SD)。這些指標(biāo)通常在從多個切片分割進行3D模型重建的情況下使用。
另一個衡量網(wǎng)絡(luò)性能的方式是預(yù)測的運行時間,因為這對于工具在臨床實時應(yīng)用中的可行性至關(guān)重要。然而,分割的時間也可能因不同的硬件而有所不同。
此外,網(wǎng)絡(luò)超參數(shù)的調(diào)整也可能影響時間(由用戶設(shè)置以控制學(xué)習(xí)過程的參數(shù))。該操作可以通過網(wǎng)格搜索、隨機搜索或貝葉斯優(yōu)化來完成。
需要注意的是,網(wǎng)絡(luò)的收斂性能也可能受到患者臨床因素的影響。例如,當(dāng)用超重者的圖像訓(xùn)練的神經(jīng)網(wǎng)絡(luò),應(yīng)用于低體重指數(shù)(BMI)者時,可能會不準(zhǔn)確。
處理后操作
在上述步驟之后,可以實施不同的后處理策略,以確保更準(zhǔn)確的結(jié)果,提高一致性,優(yōu)化預(yù)測并糾正標(biāo)簽錯誤。18%研究者選擇了不同的后處理技術(shù)來進行分割的改進(包括形態(tài)學(xué)運算或尺寸閾值)。
無論如何,在分割過程之后,都需要恢復(fù)原始圖像的屬性,包括尺寸和分辨率,因為神經(jīng)網(wǎng)絡(luò)通常使用方陣。
5
討 論
創(chuàng)新評估,患者中心
這個綜述旨在介紹醫(yī)學(xué)AI圖像分割工具,幫助臨床專家了解如何自動化這一任務(wù)。這些智能工具可以減少人工標(biāo)注工作,提高效率,降低成本。不過,需要注意適用性、數(shù)據(jù)多樣性和準(zhǔn)確性。
瓶頸問題如樣本規(guī)模小、數(shù)據(jù)不均勻和分割不準(zhǔn)確,可通過數(shù)據(jù)增強和前后處理來解決,但要考慮這些計算解決方案對結(jié)果的影響,避免錯誤解釋。準(zhǔn)確性是重要指標(biāo),不僅在獲得高值時,還要考慮網(wǎng)絡(luò)學(xué)習(xí)過程是否充分考慮了真實情況的差異,如日常實踐中所見。
深度學(xué)習(xí)能夠以自學(xué)的方式從生物圖像中學(xué)習(xí)對象的有效表達(dá),并且無需事先疊加用戶設(shè)計的特征(從而超越了傳統(tǒng)機器學(xué)習(xí)方法的限制)。深度學(xué)習(xí)范式允許我們從一個輸入中同時研究多條信息,并了解它們相互集成和相互影響的方式。因此,通過生物成像分析(可能克服人類感知的局限性),從海量數(shù)據(jù)中進行網(wǎng)絡(luò)學(xué)習(xí)可能會提出新的生物標(biāo)志物作為肌肉骨骼疾病的預(yù)測指標(biāo)。
對于工具開發(fā)的“深入”了解可以支持評估當(dāng)前或新的臨床應(yīng)用軟件解決方案的能力,其中“以患者為中心”的范式需要定制分析和優(yōu)化設(shè)置。如果分割工具能夠根據(jù)每個具體情況和肌肉骨骼結(jié)構(gòu)的條件進行實時參數(shù)調(diào)整,那么它可能會增加物理治療(如激光徑向沖擊波等)的效果,從而將干預(yù)重點放在被改變的結(jié)構(gòu)自身的精確水平上。幫助指導(dǎo)臨床醫(yī)生定制調(diào)查可能與特定病癥相關(guān)的結(jié)構(gòu),規(guī)劃最佳干預(yù)方案,重新評估治療的有效性并監(jiān)測其后續(xù)進展。
6
結(jié) 論
新的視角,醫(yī)護前沿
將深度學(xué)習(xí)模塊集成到醫(yī)療設(shè)備中,用于肌肉骨骼結(jié)構(gòu)的分割,可以加速和精確治療的進展,減少人為錯誤,提高患者生活質(zhì)量,同時為醫(yī)學(xué)成像領(lǐng)域提供新的解釋視角,邁向醫(yī)療護理的新前沿。
Bonaldi L, Pretto A, Pirri C, Uccheddu F, Fontanella CG, Stecco C. Deep Learning-Based Medical Images Segmentation of Musculoskeletal Anatomical Structures: A Survey of Bottlenecks and Strategies. Bioengineering (Basel). 2023 Jan 19;10(2):137. doi: 10.3390/bioengineering10020137. PMID: 36829631; PMCID: PMC9952222.
news room
01.03
08.26
07.07
02.28
08.26
08.26
07.16
02.21
07.26
08.08
08.08
08.23
07.02
08.02
07.12
07.12
07.12
07.05
05.10
04.19
04.19
04.12
04.08
04.02
03.22
03.22
02.22
03.15
02.23
03.22
03.08
02.22
02.04
02.01
01.05
01.12
01.05
01.05
12.29
12.08
12.08
12.08
11.30
11.30
11.17
10.31
10.31
10.19
10.17
10.12
10.08
09.27
09.01
09.01
09.01
08.18
08.18
08.18
08.11
07.21
07.21
07.21
07.13
07.07
06.30
06.20
06.16
06.09
06.09
05.25
05.19
05.26
05.19
05.12
04.26
04.28
04.26
04.14
04.06
03.31
03.31
03.24
03.17
03.10
03.03
02.23
02.16
02.16
02.10
01.29
01.29
01.18
01.12
01.06
01.03
12.30
12.09
12.02
11.22