傳統監護儀故障診斷多依賴人工經驗，診斷效率較低且故障維修文本數據未得到有效利用。針對以上問題，本文提出一種基于多特征文本表示以及改進的雙向門控循環神經元網絡（BiGRU）和注意力機制的監護儀故障智能診斷方法。首先，對文本進行預處理，采用基于轉換器（Transformer）的語言激勵雙向編碼器表示生成含有多種語言學特征的詞向量；然后，通過改進的BiGRU和注意力機制對雙向故障特征分別進行提取并加權；最后，使用加權損失函數降低類別不平衡對模型的影響。為證實所提方法的有效性，本文使用監護儀故障數據集進行驗證，總體宏F1值達到91.11%。該結果表明，本文所建模型可實現故障文本的自動分類，或可為今后監護儀故障智能診斷提供輔助決策支持。
引用本文： 賀祥飛, 張和華, 黃靖, 趙德春, 李洋, 聶瑞, 劉相花. 基于文本挖掘的監護儀故障診斷研究. 生物醫學工程學雜志, 2024, 41(1): 168-176. doi: 10.7507/1001-5515.202306017 復制
0 引言
監護儀作為生命支持類醫學裝備之一，已成為臨床診斷及治療中必不可少的監測設備。監護儀由于應用范圍廣、零配件多，運行過程中不可避免地會發生各類故障。現階段的監護儀故障診斷方法主要依靠維修人員及專家的經驗進行排查，效率不高；且監護儀過往維修歷史中所積累的大量文本記錄尚未得到很好地利用，因此開展面向監護儀故障的智能診斷研究工作，是確保監護儀安全運行和持續使用的重要前提。
監護儀在長期使用過程中，產生大量故障維修文本，而計算機無法對文本進行直接運算，因此早期學者使用基于人工提取特征的專家系統和特征工程進行故障診斷[1-2]。隨著自然語言處理（natural language processing，NLP）技術的發展，機器學習和深度學習越來越多地應用于基于文本挖掘的故障診斷之中，這類故障診斷方法的核心在于建立合適的故障維修文本表示和分類模型[3]。在文本表示方面，Wang等[4]通過詞頻—逆文檔頻率（term frequency-inverse document frequency，TF-IDF）方法將案例文本轉化為向量，并在此基礎上采用模糊語義推斷得到故障原因的概率分布。侯通等[5]針對TF-IDF對短文本中高頻詞特征提取效果不佳的缺點，提出在TF-IDF中融合類別間特征詞分布的算法，提高了故障診斷效果。但基于詞頻的方法無法表示文本的語義信息，造成文本特征丟失，并且容易導致維度爆炸。雖然潛在狄利克雷分布（latent Dirichlet allocation，LDA）可以避免這些問題[6-7]，但由于監護儀故障維修文本長度短、噪聲多，使用LDA提取文本特征效果并不佳。詞向量（word to vector，Word2vec）模型是基于神經網絡的概率語言模型[8]，自發布以來一直被廣泛使用和研究。Xu等[9]使用Word2vec模型將故障維修文本轉化為向量，并通過卷積神經網絡（convolutional neural network，CNN）構造分類器，實現對設備的故障診斷。林海香等[10]提出一種字詞融合的故障維修文本表示方法，通過Word2vec模型獲取文本的字向量和詞向量，并將字向量、詞向量和位置特征融合，進一步提高故障診斷的準確性。但Word2vec模型對于同一個詞只有一個表示，無法解決語義歧義和上下文依賴性問題。在2018年預訓練語言模型（pre-trained language models，PLM）提出后，許多研究人員基于PLM進行文本表示[11-13]，提高了文本表示效果。但PLM在下游NLP任務中的表現常常受到預訓練任務的影響；此外，研究人員普遍認為PLM尚需要進一步包含外部知識以優化性能[14-15]。在文本分類模型構建上，主流的方法包括：基于CNN的模型[16-17]、基于循環神經網絡（recurrent neural network，RNN）的模型[18-19]、基于注意力機制的模型[20-21]及混合模型[22]。其中，CNN系列網絡可以很好地提取局部特征，但池化層無法捕獲單詞位置信息；RNN系列網絡用于捕捉文本全局特征，卻很難用于大規模并行計算。注意力機制，受人腦信號處理機制的啟發，最早應用于圖像領域，后引入NLP任務[23]；其可以學習重點語義信息，但卻忽略了詞的先后順序。而監護儀故障維修文本由于是人工記錄的信息，其文本具有較強的不規范性，對文本表示及特征提取都帶來一定難度，因此基于監護儀故障維修文本的故障診斷尚需對文本進行深度挖掘才能實現診斷。
為此，本文提出基于轉換器（Transformer）及語言驅動的雙向編碼器表示模型（linguistically-motivated bidirectional encoder representation from Transformer，LERT），將其用于故障維修文本的向量化表示，同時聯合改進的雙向門控循環神經元網絡（imporved bidirectional gate recurrent unit，IBiGRU）和注意力機制（attention mechanism，Att）構建了IBiGRU-Att，在此基礎上提出LERT和IBiGRU-Att結合的監護儀故障診斷模型（LERT-IBiGRU-Att）。該模型采用LERT獲取包含多種特征的文本向量，解決故障維修文本特征少、噪音多等問題，并通過IBiGRU-Att分別獲取前向與后向故障特征，并計算前向與后向故障維修文本中各詞之間的權重關系，以增加對分類有重點作用的詞的關注，同時通過使用加權損失函數降低類別不平衡對分類的影響，進一步提高監護儀故障維修文本的分類準確率。該模型可實現監護儀故障的準確定位，提高故障診斷可靠性和效率，為監護儀的故障診斷提供有效指導，并為實現高精度的故障維修文本分類提供新思路。
1 故障維修文本分類模型構建
本文提出的LERT-IBiGRU-Att監護儀故障智能診斷模型如圖1所示，圖1中具體字符含義將在本章節1.1～1.4小節詳細闡述。首先，將故障維修文本進行預處理，預處理后的文本通過LERT詞嵌入層，得到每個詞的嵌入向量；然后，將所有詞向量輸入IBiGRU-Att，分別提取前向和后向語義信息，并學習特征詞間的權重；最后，再通過一個融合機制和歸一化指數函數（softmax）層完成監護儀故障分類，并使用加權損失函數解決類別不平衡的問題。
圖1
監護儀故障智能診斷模型
Figure1.
Intelligent fault diagnosis model of patient monitor
1.1 監護儀故障維修文本預處理
由于監護儀故障維修文本是不同維修人員手工記錄的信息，因此存在大量不規范文本及少量重復文本，因此需要對故障維修文本進行預處理。預處理內容包括：① 刪除重復文本，故障現象描述相同的僅保留一條，避免模型的過擬合；② 去除長度過短的文本，長度過短的文本一般為“故障”、“損壞”等無意義文本；③ 對部分分類錯誤的故障維修文本進行重新歸類。通過故障維修文本的預處理，可以使模型更好地提取語義特征。
1.2 詞嵌入層
由于模型無法直接對文本進行計算，因此需要將文本轉化為向量，這個過程稱為詞嵌入。傳統PLM在單一任務上進行預訓練，僅獲取文本的語義信息，因此本文提出基于LERT的詞嵌入方法。LERT在掩碼語言模型以及三種類型的語言任務上進行訓練，包括詞性標注、命名實體識別和依存句法分析。詞性標注任務將詞識別為動詞、名詞、形容詞等詞性；命名實體識別任務將詞識別為實體與非實體，其中實體又包括實體開頭、實體內部與實體結尾；依存句法分析任務將詞識別為核心詞或與核心詞的依存關系。
LERT的預訓練策略如圖2所示，輸入由起始字符（[CLS]）、文字序列（哈工大[M][M]冰城[M][M][M]）和終止字符（[SEP]）組成。在輸出結果中，LERT將第一個屏蔽詞（[M]）預測為“位”，動詞詞性，屬于非實體詞及核心詞。因此在下游任務中，監護儀故障維修文本通過LERT詞嵌入后，文本向量中融合了語義特征、詞性特征、實體特征、依存關系特征，相較于其他PLM獲得了更多故障維修文本特征，為后續的特征提取和分類提供了更好的文本表示。
圖2
LERT預訓練策略
Figure2.
LERT pre-training strategy
對詞向量提取的傳統做法，是將詞嵌入層輸出的第一個詞向量e1作為句向量用于分類，而舍棄其他詞向量，但這種方法會導致部分特征丟失。因此本模型使用LERT詞嵌入層輸出的每個詞向量用作于下游網絡的輸入。如圖1所示，輸入T經過LERT詞嵌入層，輸出為所有詞向量（e1，e2，e3，···，en）組成的詞向量矩陣E，過程如式(1)～(2)所示：
 |
 |
其中，wi表示故障維修文本序列，i∈{1, 2, ···, n ? 2}，n表示最大輸入字符長度，d表示詞嵌入維度。
1.3 特征提取層
門控循環單元（gate recurrent unit，GRU）只使用更新門和重置門兩個門控開關，相較于長短時記憶（long short-term memory，LSTM）網絡參數更少。單向GRU是根據t-1時刻的特征計算t時刻的特征，而t時刻的輸出不包含t時刻之后的特征信息。因此本模型使用雙向GRU（bidirectional GRU，BiGRU）提取故障維修文本上下文的長距離依賴關系，實現對故障特征的深度提取。在使用BiGRU提取雙向特征時，傳統做法是將BiGRU輸出的雙向特征拼接后直接輸入注意力機制[24-25]，但這種方法忽略了注意力機制對正、反向特征關注度不同的影響。因此本文提出的IBiGRU-Att特征提取層使用前向和后向兩個獨立的GRU網絡，分別獲得前向故障特征 
和后向故障特征 
，計算過程如式(3)～(4)所示：
 |
 |
其中，et為LERT詞嵌入層輸出的第t個位置的特征向量，t∈{0, 1, ···, n}，
為t ? 1時刻輸出的正向特征，
為t時刻的正向特征，
為t ? 1時刻輸出的反向特征，
為t時刻的反向特征。
考慮到在故障維修文本中，每個詞對不同故障類別的分類貢獻是不同的，因此使用注意力機制可以學習特征向量中每個詞之間的權重，體現每個詞對全局特征的重要程度，最終得到加權后的故障特征向量。同時為了體現正、反向特征向量受注意力機制的影響不同，本模型將正、反向故障特征向量 
與 
分別輸入注意力機制，并為其分配相互獨立的參數進行學習，獲得加權后的正、反向故障特征向量Ff與Fb，如圖1所示。正向故障特征向量Ff計算過程如式(5)～(6)所示。同時在注意力計算時使用可訓練的Q、K、V矩陣而不直接使用輸入值，進一步增強模型的擬合能力。
 |
 |
其中，Q表示查詢向量，K為對應的鍵值，V表示輸入特征的向量；at為歸一化處理后的相似度矩陣。
1.4 融合輸出層
通過IBiGRU-Att獲得加權后的正向故障特征向量Ff與反向故障特征向量Fb，對其進行融合得到全局故障特征表示Fg后，將Fg作用于softmax分類器，從而得到故障類別的預測概率p，計算公式如式(7)～(8)所示：
 |
 |
其中，符號“
”表示向量拼接，Wg與bg分別表示可訓練的權重與偏置參數。
由于監護儀各故障類型的樣本數量分布不均，使用標準的多分類交叉熵損失函數會為各標簽分配同等的權重值，模型會更多關注多數類標簽，導致多數類標簽容易出現過擬合。因此本模型采用帶權重的交叉熵損失函數作為模型的損失函數（LOSS），提升對較少樣本的故障類別的關注度，進而保證模型的魯棒性。計算公式如式(9)～(10)所示：
 |
 |
其中，q為樣本真實故障類別，p為樣本預測故障類別，N為故障樣本數，C為故障類別數，wj為第j類故障的損失權重，Nmax為最大故障樣本數量的樣本數，Nj為第j類樣本數。
2 實驗
2.1 實驗數據集
監護儀故障數據來自陸軍軍醫大學大坪醫院2020年10月—2022年8月由人工記錄的監護儀維修數據，包含飛利浦MP5、MP60、MP30型號（Koninklijke Philips N.V.，荷蘭），金科威UT4000B、UT6000A型號（Philips Goldway Inc.，中國）及邁瑞PM-8000、IPM12、T8、N12/15/17、ePM12M及iMEC8型號（Mindray Inc.，中國）的監護儀故障數據。由于邁瑞監護儀故障數據包含重癥監護、亞重癥監護及轉運監護等多型患者監護產品，因此本研究以邁瑞監護儀故障數據為研究對象，并對數據進行預處理形成監護儀故障診斷數據集。部分監護儀故障數據如表1所示，故障維修文本中存在一些不規范的表達，如口語化的描述：“仔細聽有絲漏氣聲”、“血壓有打氣聲音”，以及簡化的表述：“導聯線右胳膊（right arm，RA）”簡化為“導聯線RA”。監護儀故障診斷數據集共包含8 634條故障數據，將數據集按8∶2的比例劃分為訓練集和驗證集，用于實驗驗證。
表1
監護儀故障數據
Table1.
Patient monitor fault data
數據集中所有監護儀故障類別及對應的數據數量和分布情況如圖3所示，無創血壓模塊相關、血氧飽和度模塊相關、心電模塊相關等故障為常發故障，數據量占比較大，而編碼器相關、二氧化碳模塊相關等故障數據量較少，數據集分布呈現不均衡現象。
圖3
監護儀故障類別及數量分布圖
Figure3.
Patient monitor fault category and quantity distribution
2.2 實驗設置
（1）實驗環境：操作系統為Ubuntu18.04.6（Canonical Ltd., 英國），基于Pytorch1.7.1（Facebook Inc.，美國）深度學習框架，使用兩塊顯卡（RTX3090，Nvidia Inc.，美國）進行并行訓練。
（2）模型超參數：Word2vec模型使用經結巴（Jiebe）分詞后的訓練集數據進行訓練，詞向量維度為100維，預訓練50個輪次。基于Transformer的輕量化雙向編碼表示（a lite bidirectional encoder representations from Transformers，ALBERT）使用Xu等[26]提出的PLM，詞嵌入維度為384維。LERT使用Cui等[27]提出的小型PLM，詞嵌入維度256維。CNN層分別使用卷積窗口為2、3、4的一維卷積核進行卷積操作，每種卷積核數量為100個。GRU層數為2層，詞嵌入層、CNN層、GRU層和注意力層均使用隨機失活機制，大小為隨機失活率為15%。迭代次數為20輪次。
（3）評價指標：監護儀故障診斷為多分類問題，因此使用精確率P、召回率R、F1值作為模型的評價指標。同時由于數據集的類別之間存在不均衡現象，因此使用宏平均F1值（Macro-F1，M-F1）作為模型的總體評價指標，M-F1計算如式(11)所示。
 |
其中，C表示類別數，F1i表示第i類的F1值。
2.3 實驗結果及分析
2.3.1 不同詞嵌入方法的對比
通過使用不同的詞嵌入方法對比，驗證LERT詞嵌入方法的有效性。本文分別采用TF-IDF、Word2vec模型、ALBERT與本文提出的LERT實現故障維修文本的詞嵌入，并基于BiGRU實現監護儀的故障診斷。其中TF-IDF為基于詞頻的靜態詞向量表示，Word2vec模型為靜態PLM，ALBERT與LERT均為動態PLM。不同詞嵌入方法的實驗結果如表2所示，其中，基于PLM的方法均獲得了80%以上的M-F1值，相較于TF-IDF有較大提升。ALBERT基于Transformer編碼器構建，使用大規模語料庫進行訓練，可以學習一詞多義現象，其M-F1值相較于Word2vec模型有所提高。LERT通過多任務學習，可以更好地學習文本表示，獲得了最高的故障診斷M-F1值，達到了88.73%。
表2
不同詞嵌入方法的實驗結果
Table2.
Experimental results of different word embedding methods
2.3.2 故障特征提取層對比實驗
通過LERT實現故障維修文本的詞嵌入，分別使用CNN、GRU、雙向LSTM（bidirectional LSTM，BiLSTM）、BiGRU共4種不同的特征提取層，完成監護儀的故障診斷，對比特征提取層對模型性能的影響。
基于不同故障特征提取層的實驗結果如表3所示。對于文本序列，基于RNN的模型可以更好地捕捉序列間的關系，提取上下文的語義特征，因此M-F1值高于基于窗口滑動的CNN模型。由于人工記錄的不規范性，對監護儀故障維修文本的分析往往需要結合上下文語義進行理解，而GRU模型僅考慮單向文本序列間的特征，無法捕捉逆向序列特征，因此其M-F1值低于從兩個時序方向提取故障特征的BiGRU模型。且GRU相較于LSTM參數降低，訓練速度更快，因此本研究選擇BiGRU作為監護儀故障診斷模型的特征提取層，并在BiGRU的基礎上對模型進行改進。
表3
基于不同故障特征提取層的實驗結果
Table3.
Experimental results of different fault feature extraction layers
2.3.3 消融實驗
為了驗證IBiGRU與加權損失函數的有效性，構建4組實驗進行對比。其中，第1組為原始的LERT加BiGRU模型，第2組增加注意力機制模塊，第3組在第2組基礎上增加使用帶權重的交叉熵損失函數，第4組在第3組基礎上使用IBiGRU網絡，即本文的LERT-IBiGRU-Att方法。
4組實驗的實驗結果如表4所示，注意力機制可以識別出對分類有意義的重點詞匯，提高故障診斷性能，同時帶權重的交叉熵損失函數可以增加對小類別故障的關注度，緩解數據不平衡問題，進一步增加診斷效果。第4組的IBiGRU-Att將前、后向語義分離，分別學習前、后向語義權重，避免了第3組中的BiGRU將前、后向語義融合輸出對注意力機制造成干擾的問題，進一步提高故障特征提取效果，其評價指標相較于第3組均有所提高。
表4
改進方法對模型性能的影響
Table4.
The effect of improving methods on model performance
4組模型在訓練集和驗證集上的迭代曲線如圖4所示。相較于第2組，第3組在訓練集和驗證集上的損失值更大，這是因為使用帶權重的交叉熵損失函數后，增加了小樣本故障類別的損失權重，因此整體損失值增大。同時由于增加了對小樣本的關注度，因此在迭代到第7輪次后，第3組在驗證集的M-F1值大于第2組。相較于第3組，第4組在訓練過程中可獲得最低的損失值及最高的M-F1值，這是因為對正、反向故障特征分別學習可以提高注意力機制學習效果，進而提升模型性能。
圖4
四組模型在訓練集和驗證集上的迭代曲線
Figure4.
The iterative curves of 4 sets of models on training and test datasets
2.3.4 模型對比實驗
為進一步驗證本文所提出的LERT-IBiGRU-Att監護儀故障診斷模型方法的有效性，選擇了3個其他已廣泛使用的方法進行對比，具體方法如下：
（1）TF-IDF 結合反向傳播（back propagation，BP）網絡（TF-IDF+BP）：通過TF-IDF提取出故障維修文本的詞頻特征后使用BP網絡進行文本分類，是較為簡單的文本分類方法[28]。
（2）Word2vec模型結合多池化CNN（multi-pooling CNN，MCNN）（Word2vec模型 + MCNN）：周慶華等[29]提出使用Word2vec模型進行詞嵌入，并通過MCNN進行文本的特征提取的故障文本挖掘分類方法。MCNN可以保留更多故障維修文本的有效特征，避免單一池化受多干擾詞語的影響。
（3）多神經網絡模型融合的文本分類模型（text classification model fused with multiple neural network，FMNN）：鄧維斌等[30]提出一種PLM、CNN、RNN以及注意力機制的FMNN。FMNN將多粒度語義特征進行提取，并通過融合機制實現文本的分類。
模型對比實驗結果如表5所示，本文提出的LERT-IBiGRU-Att模型在故障診斷性能方面表現最佳，其故障診斷M-F1值為91.11%。具體而言，基于TF-IDF的方法僅以詞頻構成文檔的序列值特征，詞與詞之間相互無關聯，容易造成語義信息的丟失，因此TF-IDF + BP方法的故障診斷M-F1值僅為76.74%。Word2vec模型能夠學習文本的上下文關系，提高文本表示的效果，且MCNN提升了模型對有效特征的提取效果，因此，各類別故障診斷結果均得到提升。但對于“主控板相關”類別故障，其故障特征包含其他類別的故障特征，導致分類較為困難，Word2vec模型 + MCNN方法在該類的故障診斷P值僅為69.39%。FMNN使用多模型融合的方法，故障診斷M-F1值相較于Word2vec模型 + MCNN方法有所提高，但在“二氧化碳模塊相關”和“主控板相關”的故障類別中，其F1值低于Word2vec模型 + MCNN方法，這是由于監護儀的故障維修文本具有特征稀疏的特點，較深的網絡可能會導致模型性能過剩，反而效果不佳。因此，本文所建模型針對監護儀故障維修文本的特點，分別從詞嵌入、故障特征提取及分類三方面進行優化，進一步提高故障診斷F1值，特別是在“主控板相關”類別中，故障診斷P值達到83.17%，相較于其他方法有明顯提升，證明了本文提出的故障診斷模型的有效性。
表5
基于不同模型的監護儀故障診斷結果
Table5.
Patient monitor fault diagnosis results based on different models
3 結論
本文提出一種基于監護儀故障維修文本挖掘的故障診斷模型。首先，該模型利用LERT進行故障維修文本的詞嵌入，以獲得多種語言學特征的文本表示；然后，通過IBiGRU-Att提取和加權文本的前、后向特征，從而改善了注意力機制的效果；最后，采用加權損失函數來提升對小類別關注度，減小數據不均衡對模型的影響。為驗證所提模型的有效性，本文進行了多方面的對比，包括詞嵌入方法對比、特征提取層對比及消融實驗，并與其他相關研究方法進行了對比。實驗結果表明，該模型可實現監護儀故障文本的有效分類，可為監護儀的故障診斷提供輔助指導，并為醫療設備故障診斷領域提供一種新的參考。然而，由于故障維修文本數據的局限性，導致監護儀故障定位的范圍相對較廣。因此，未來工作將探索利用多模態數據對監護儀進行故障診斷，例如信號數據、分析模型等，通過混合故障診斷方法，進一步提高故障診斷的準確性與細粒度。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：賀祥飛主要負責算法程序設計、數據記錄與分析及論文編寫；張和華、黃靖主要負責項目主持、平臺搭建、論文審閱修訂、協調溝通以及計劃安排；趙德春主要負責提供實驗指導、數據分析指導以及論文審閱修訂；李洋、聶瑞、劉相花負責數據的記錄與分析以及論文的修訂。
0 引言
監護儀作為生命支持類醫學裝備之一，已成為臨床診斷及治療中必不可少的監測設備。監護儀由于應用范圍廣、零配件多，運行過程中不可避免地會發生各類故障。現階段的監護儀故障診斷方法主要依靠維修人員及專家的經驗進行排查，效率不高；且監護儀過往維修歷史中所積累的大量文本記錄尚未得到很好地利用，因此開展面向監護儀故障的智能診斷研究工作，是確保監護儀安全運行和持續使用的重要前提。
監護儀在長期使用過程中，產生大量故障維修文本，而計算機無法對文本進行直接運算，因此早期學者使用基于人工提取特征的專家系統和特征工程進行故障診斷[1-2]。隨著自然語言處理（natural language processing，NLP）技術的發展，機器學習和深度學習越來越多地應用于基于文本挖掘的故障診斷之中，這類故障診斷方法的核心在于建立合適的故障維修文本表示和分類模型[3]。在文本表示方面，Wang等[4]通過詞頻—逆文檔頻率（term frequency-inverse document frequency，TF-IDF）方法將案例文本轉化為向量，并在此基礎上采用模糊語義推斷得到故障原因的概率分布。侯通等[5]針對TF-IDF對短文本中高頻詞特征提取效果不佳的缺點，提出在TF-IDF中融合類別間特征詞分布的算法，提高了故障診斷效果。但基于詞頻的方法無法表示文本的語義信息，造成文本特征丟失，并且容易導致維度爆炸。雖然潛在狄利克雷分布（latent Dirichlet allocation，LDA）可以避免這些問題[6-7]，但由于監護儀故障維修文本長度短、噪聲多，使用LDA提取文本特征效果并不佳。詞向量（word to vector，Word2vec）模型是基于神經網絡的概率語言模型[8]，自發布以來一直被廣泛使用和研究。Xu等[9]使用Word2vec模型將故障維修文本轉化為向量，并通過卷積神經網絡（convolutional neural network，CNN）構造分類器，實現對設備的故障診斷。林海香等[10]提出一種字詞融合的故障維修文本表示方法，通過Word2vec模型獲取文本的字向量和詞向量，并將字向量、詞向量和位置特征融合，進一步提高故障診斷的準確性。但Word2vec模型對于同一個詞只有一個表示，無法解決語義歧義和上下文依賴性問題。在2018年預訓練語言模型（pre-trained language models，PLM）提出后，許多研究人員基于PLM進行文本表示[11-13]，提高了文本表示效果。但PLM在下游NLP任務中的表現常常受到預訓練任務的影響；此外，研究人員普遍認為PLM尚需要進一步包含外部知識以優化性能[14-15]。在文本分類模型構建上，主流的方法包括：基于CNN的模型[16-17]、基于循環神經網絡（recurrent neural network，RNN）的模型[18-19]、基于注意力機制的模型[20-21]及混合模型[22]。其中，CNN系列網絡可以很好地提取局部特征，但池化層無法捕獲單詞位置信息；RNN系列網絡用于捕捉文本全局特征，卻很難用于大規模并行計算。注意力機制，受人腦信號處理機制的啟發，最早應用于圖像領域，后引入NLP任務[23]；其可以學習重點語義信息，但卻忽略了詞的先后順序。而監護儀故障維修文本由于是人工記錄的信息，其文本具有較強的不規范性，對文本表示及特征提取都帶來一定難度，因此基于監護儀故障維修文本的故障診斷尚需對文本進行深度挖掘才能實現診斷。
為此，本文提出基于轉換器（Transformer）及語言驅動的雙向編碼器表示模型（linguistically-motivated bidirectional encoder representation from Transformer，LERT），將其用于故障維修文本的向量化表示，同時聯合改進的雙向門控循環神經元網絡（imporved bidirectional gate recurrent unit，IBiGRU）和注意力機制（attention mechanism，Att）構建了IBiGRU-Att，在此基礎上提出LERT和IBiGRU-Att結合的監護儀故障診斷模型（LERT-IBiGRU-Att）。該模型采用LERT獲取包含多種特征的文本向量，解決故障維修文本特征少、噪音多等問題，并通過IBiGRU-Att分別獲取前向與后向故障特征，并計算前向與后向故障維修文本中各詞之間的權重關系，以增加對分類有重點作用的詞的關注，同時通過使用加權損失函數降低類別不平衡對分類的影響，進一步提高監護儀故障維修文本的分類準確率。該模型可實現監護儀故障的準確定位，提高故障診斷可靠性和效率，為監護儀的故障診斷提供有效指導，并為實現高精度的故障維修文本分類提供新思路。
1 故障維修文本分類模型構建
本文提出的LERT-IBiGRU-Att監護儀故障智能診斷模型如圖1所示，圖1中具體字符含義將在本章節1.1～1.4小節詳細闡述。首先，將故障維修文本進行預處理，預處理后的文本通過LERT詞嵌入層，得到每個詞的嵌入向量；然后，將所有詞向量輸入IBiGRU-Att，分別提取前向和后向語義信息，并學習特征詞間的權重；最后，再通過一個融合機制和歸一化指數函數（softmax）層完成監護儀故障分類，并使用加權損失函數解決類別不平衡的問題。
圖1
監護儀故障智能診斷模型
Figure1.
Intelligent fault diagnosis model of patient monitor
1.1 監護儀故障維修文本預處理
由于監護儀故障維修文本是不同維修人員手工記錄的信息，因此存在大量不規范文本及少量重復文本，因此需要對故障維修文本進行預處理。預處理內容包括：① 刪除重復文本，故障現象描述相同的僅保留一條，避免模型的過擬合；② 去除長度過短的文本，長度過短的文本一般為“故障”、“損壞”等無意義文本；③ 對部分分類錯誤的故障維修文本進行重新歸類。通過故障維修文本的預處理，可以使模型更好地提取語義特征。
1.2 詞嵌入層
由于模型無法直接對文本進行計算，因此需要將文本轉化為向量，這個過程稱為詞嵌入。傳統PLM在單一任務上進行預訓練，僅獲取文本的語義信息，因此本文提出基于LERT的詞嵌入方法。LERT在掩碼語言模型以及三種類型的語言任務上進行訓練，包括詞性標注、命名實體識別和依存句法分析。詞性標注任務將詞識別為動詞、名詞、形容詞等詞性；命名實體識別任務將詞識別為實體與非實體，其中實體又包括實體開頭、實體內部與實體結尾；依存句法分析任務將詞識別為核心詞或與核心詞的依存關系。
LERT的預訓練策略如圖2所示，輸入由起始字符（[CLS]）、文字序列（哈工大[M][M]冰城[M][M][M]）和終止字符（[SEP]）組成。在輸出結果中，LERT將第一個屏蔽詞（[M]）預測為“位”，動詞詞性，屬于非實體詞及核心詞。因此在下游任務中，監護儀故障維修文本通過LERT詞嵌入后，文本向量中融合了語義特征、詞性特征、實體特征、依存關系特征，相較于其他PLM獲得了更多故障維修文本特征，為后續的特征提取和分類提供了更好的文本表示。
圖2
LERT預訓練策略
Figure2.
LERT pre-training strategy
對詞向量提取的傳統做法，是將詞嵌入層輸出的第一個詞向量e1作為句向量用于分類，而舍棄其他詞向量，但這種方法會導致部分特征丟失。因此本模型使用LERT詞嵌入層輸出的每個詞向量用作于下游網絡的輸入。如圖1所示，輸入T經過LERT詞嵌入層，輸出為所有詞向量（e1，e2，e3，···，en）組成的詞向量矩陣E，過程如式(1)～(2)所示：
|
|
其中，wi表示故障維修文本序列，i∈{1, 2, ···, n ? 2}，n表示最大輸入字符長度，d表示詞嵌入維度。
1.3 特征提取層
門控循環單元（gate recurrent unit，GRU）只使用更新門和重置門兩個門控開關，相較于長短時記憶（long short-term memory，LSTM）網絡參數更少。單向GRU是根據t-1時刻的特征計算t時刻的特征，而t時刻的輸出不包含t時刻之后的特征信息。因此本模型使用雙向GRU（bidirectional GRU，BiGRU）提取故障維修文本上下文的長距離依賴關系，實現對故障特征的深度提取。在使用BiGRU提取雙向特征時，傳統做法是將BiGRU輸出的雙向特征拼接后直接輸入注意力機制[24-25]，但這種方法忽略了注意力機制對正、反向特征關注度不同的影響。因此本文提出的IBiGRU-Att特征提取層使用前向和后向兩個獨立的GRU網絡，分別獲得前向故障特征 和后向故障特征 ，計算過程如式(3)～(4)所示：
|
|
其中，et為LERT詞嵌入層輸出的第t個位置的特征向量，t∈{0, 1, ···, n}， 為t ? 1時刻輸出的正向特征， 為t時刻的正向特征， 為t ? 1時刻輸出的反向特征，為t時刻的反向特征。
考慮到在故障維修文本中，每個詞對不同故障類別的分類貢獻是不同的，因此使用注意力機制可以學習特征向量中每個詞之間的權重，體現每個詞對全局特征的重要程度，最終得到加權后的故障特征向量。同時為了體現正、反向特征向量受注意力機制的影響不同，本模型將正、反向故障特征向量 與 分別輸入注意力機制，并為其分配相互獨立的參數進行學習，獲得加權后的正、反向故障特征向量Ff與Fb，如圖1所示。正向故障特征向量Ff計算過程如式(5)～(6)所示。同時在注意力計算時使用可訓練的Q、K、V矩陣而不直接使用輸入值，進一步增強模型的擬合能力。
|
|
其中，Q表示查詢向量，K為對應的鍵值，V表示輸入特征的向量；at為歸一化處理后的相似度矩陣。
1.4 融合輸出層
通過IBiGRU-Att獲得加權后的正向故障特征向量Ff與反向故障特征向量Fb，對其進行融合得到全局故障特征表示Fg后，將Fg作用于softmax分類器，從而得到故障類別的預測概率p，計算公式如式(7)～(8)所示：
|
|
其中，符號“”表示向量拼接，Wg與bg分別表示可訓練的權重與偏置參數。
由于監護儀各故障類型的樣本數量分布不均，使用標準的多分類交叉熵損失函數會為各標簽分配同等的權重值，模型會更多關注多數類標簽，導致多數類標簽容易出現過擬合。因此本模型采用帶權重的交叉熵損失函數作為模型的損失函數（LOSS），提升對較少樣本的故障類別的關注度，進而保證模型的魯棒性。計算公式如式(9)～(10)所示：
|
|
其中，q為樣本真實故障類別，p為樣本預測故障類別，N為故障樣本數，C為故障類別數，wj為第j類故障的損失權重，Nmax為最大故障樣本數量的樣本數，Nj為第j類樣本數。
2 實驗
2.1 實驗數據集
監護儀故障數據來自陸軍軍醫大學大坪醫院2020年10月—2022年8月由人工記錄的監護儀維修數據，包含飛利浦MP5、MP60、MP30型號（Koninklijke Philips N.V.，荷蘭），金科威UT4000B、UT6000A型號（Philips Goldway Inc.，中國）及邁瑞PM-8000、IPM12、T8、N12/15/17、ePM12M及iMEC8型號（Mindray Inc.，中國）的監護儀故障數據。由于邁瑞監護儀故障數據包含重癥監護、亞重癥監護及轉運監護等多型患者監護產品，因此本研究以邁瑞監護儀故障數據為研究對象，并對數據進行預處理形成監護儀故障診斷數據集。部分監護儀故障數據如表1所示，故障維修文本中存在一些不規范的表達，如口語化的描述：“仔細聽有絲漏氣聲”、“血壓有打氣聲音”，以及簡化的表述：“導聯線右胳膊（right arm，RA）”簡化為“導聯線RA”。監護儀故障診斷數據集共包含8 634條故障數據，將數據集按8∶2的比例劃分為訓練集和驗證集，用于實驗驗證。
表1
監護儀故障數據
Table1.
Patient monitor fault data
數據集中所有監護儀故障類別及對應的數據數量和分布情況如圖3所示，無創血壓模塊相關、血氧飽和度模塊相關、心電模塊相關等故障為常發故障，數據量占比較大，而編碼器相關、二氧化碳模塊相關等故障數據量較少，數據集分布呈現不均衡現象。
圖3
監護儀故障類別及數量分布圖
Figure3.
Patient monitor fault category and quantity distribution
2.2 實驗設置
（1）實驗環境：操作系統為Ubuntu18.04.6（Canonical Ltd., 英國），基于Pytorch1.7.1（Facebook Inc.，美國）深度學習框架，使用兩塊顯卡（RTX3090，Nvidia Inc.，美國）進行并行訓練。
（2）模型超參數：Word2vec模型使用經結巴（Jiebe）分詞后的訓練集數據進行訓練，詞向量維度為100維，預訓練50個輪次。基于Transformer的輕量化雙向編碼表示（a lite bidirectional encoder representations from Transformers，ALBERT）使用Xu等[26]提出的PLM，詞嵌入維度為384維。LERT使用Cui等[27]提出的小型PLM，詞嵌入維度256維。CNN層分別使用卷積窗口為2、3、4的一維卷積核進行卷積操作，每種卷積核數量為100個。GRU層數為2層，詞嵌入層、CNN層、GRU層和注意力層均使用隨機失活機制，大小為隨機失活率為15%。迭代次數為20輪次。
（3）評價指標：監護儀故障診斷為多分類問題，因此使用精確率P、召回率R、F1值作為模型的評價指標。同時由于數據集的類別之間存在不均衡現象，因此使用宏平均F1值（Macro-F1，M-F1）作為模型的總體評價指標，M-F1計算如式(11)所示。
|
其中，C表示類別數，F1i表示第i類的F1值。
2.3 實驗結果及分析
2.3.1 不同詞嵌入方法的對比
通過使用不同的詞嵌入方法對比，驗證LERT詞嵌入方法的有效性。本文分別采用TF-IDF、Word2vec模型、ALBERT與本文提出的LERT實現故障維修文本的詞嵌入，并基于BiGRU實現監護儀的故障診斷。其中TF-IDF為基于詞頻的靜態詞向量表示，Word2vec模型為靜態PLM，ALBERT與LERT均為動態PLM。不同詞嵌入方法的實驗結果如表2所示，其中，基于PLM的方法均獲得了80%以上的M-F1值，相較于TF-IDF有較大提升。ALBERT基于Transformer編碼器構建，使用大規模語料庫進行訓練，可以學習一詞多義現象，其M-F1值相較于Word2vec模型有所提高。LERT通過多任務學習，可以更好地學習文本表示，獲得了最高的故障診斷M-F1值，達到了88.73%。
表2
不同詞嵌入方法的實驗結果
Table2.
Experimental results of different word embedding methods
2.3.2 故障特征提取層對比實驗
通過LERT實現故障維修文本的詞嵌入，分別使用CNN、GRU、雙向LSTM（bidirectional LSTM，BiLSTM）、BiGRU共4種不同的特征提取層，完成監護儀的故障診斷，對比特征提取層對模型性能的影響。
基于不同故障特征提取層的實驗結果如表3所示。對于文本序列，基于RNN的模型可以更好地捕捉序列間的關系，提取上下文的語義特征，因此M-F1值高于基于窗口滑動的CNN模型。由于人工記錄的不規范性，對監護儀故障維修文本的分析往往需要結合上下文語義進行理解，而GRU模型僅考慮單向文本序列間的特征，無法捕捉逆向序列特征，因此其M-F1值低于從兩個時序方向提取故障特征的BiGRU模型。且GRU相較于LSTM參數降低，訓練速度更快，因此本研究選擇BiGRU作為監護儀故障診斷模型的特征提取層，并在BiGRU的基礎上對模型進行改進。
表3
基于不同故障特征提取層的實驗結果
Table3.
Experimental results of different fault feature extraction layers
2.3.3 消融實驗
為了驗證IBiGRU與加權損失函數的有效性，構建4組實驗進行對比。其中，第1組為原始的LERT加BiGRU模型，第2組增加注意力機制模塊，第3組在第2組基礎上增加使用帶權重的交叉熵損失函數，第4組在第3組基礎上使用IBiGRU網絡，即本文的LERT-IBiGRU-Att方法。
4組實驗的實驗結果如表4所示，注意力機制可以識別出對分類有意義的重點詞匯，提高故障診斷性能，同時帶權重的交叉熵損失函數可以增加對小類別故障的關注度，緩解數據不平衡問題，進一步增加診斷效果。第4組的IBiGRU-Att將前、后向語義分離，分別學習前、后向語義權重，避免了第3組中的BiGRU將前、后向語義融合輸出對注意力機制造成干擾的問題，進一步提高故障特征提取效果，其評價指標相較于第3組均有所提高。
表4
改進方法對模型性能的影響
Table4.
The effect of improving methods on model performance
4組模型在訓練集和驗證集上的迭代曲線如圖4所示。相較于第2組，第3組在訓練集和驗證集上的損失值更大，這是因為使用帶權重的交叉熵損失函數后，增加了小樣本故障類別的損失權重，因此整體損失值增大。同時由于增加了對小樣本的關注度，因此在迭代到第7輪次后，第3組在驗證集的M-F1值大于第2組。相較于第3組，第4組在訓練過程中可獲得最低的損失值及最高的M-F1值，這是因為對正、反向故障特征分別學習可以提高注意力機制學習效果，進而提升模型性能。
圖4
四組模型在訓練集和驗證集上的迭代曲線
Figure4.
The iterative curves of 4 sets of models on training and test datasets
2.3.4 模型對比實驗
為進一步驗證本文所提出的LERT-IBiGRU-Att監護儀故障診斷模型方法的有效性，選擇了3個其他已廣泛使用的方法進行對比，具體方法如下：
（1）TF-IDF 結合反向傳播（back propagation，BP）網絡（TF-IDF+BP）：通過TF-IDF提取出故障維修文本的詞頻特征后使用BP網絡進行文本分類，是較為簡單的文本分類方法[28]。
（2）Word2vec模型結合多池化CNN（multi-pooling CNN，MCNN）（Word2vec模型 + MCNN）：周慶華等[29]提出使用Word2vec模型進行詞嵌入，并通過MCNN進行文本的特征提取的故障文本挖掘分類方法。MCNN可以保留更多故障維修文本的有效特征，避免單一池化受多干擾詞語的影響。
（3）多神經網絡模型融合的文本分類模型（text classification model fused with multiple neural network，FMNN）：鄧維斌等[30]提出一種PLM、CNN、RNN以及注意力機制的FMNN。FMNN將多粒度語義特征進行提取，并通過融合機制實現文本的分類。
模型對比實驗結果如表5所示，本文提出的LERT-IBiGRU-Att模型在故障診斷性能方面表現最佳，其故障診斷M-F1值為91.11%。具體而言，基于TF-IDF的方法僅以詞頻構成文檔的序列值特征，詞與詞之間相互無關聯，容易造成語義信息的丟失，因此TF-IDF + BP方法的故障診斷M-F1值僅為76.74%。Word2vec模型能夠學習文本的上下文關系，提高文本表示的效果，且MCNN提升了模型對有效特征的提取效果，因此，各類別故障診斷結果均得到提升。但對于“主控板相關”類別故障，其故障特征包含其他類別的故障特征，導致分類較為困難，Word2vec模型 + MCNN方法在該類的故障診斷P值僅為69.39%。FMNN使用多模型融合的方法，故障診斷M-F1值相較于Word2vec模型 + MCNN方法有所提高，但在“二氧化碳模塊相關”和“主控板相關”的故障類別中，其F1值低于Word2vec模型 + MCNN方法，這是由于監護儀的故障維修文本具有特征稀疏的特點，較深的網絡可能會導致模型性能過剩，反而效果不佳。因此，本文所建模型針對監護儀故障維修文本的特點，分別從詞嵌入、故障特征提取及分類三方面進行優化，進一步提高故障診斷F1值，特別是在“主控板相關”類別中，故障診斷P值達到83.17%，相較于其他方法有明顯提升，證明了本文提出的故障診斷模型的有效性。
表5
基于不同模型的監護儀故障診斷結果
Table5.
Patient monitor fault diagnosis results based on different models
3 結論
本文提出一種基于監護儀故障維修文本挖掘的故障診斷模型。首先，該模型利用LERT進行故障維修文本的詞嵌入，以獲得多種語言學特征的文本表示；然后，通過IBiGRU-Att提取和加權文本的前、后向特征，從而改善了注意力機制的效果；最后，采用加權損失函數來提升對小類別關注度，減小數據不均衡對模型的影響。為驗證所提模型的有效性，本文進行了多方面的對比，包括詞嵌入方法對比、特征提取層對比及消融實驗，并與其他相關研究方法進行了對比。實驗結果表明，該模型可實現監護儀故障文本的有效分類，可為監護儀的故障診斷提供輔助指導，并為醫療設備故障診斷領域提供一種新的參考。然而，由于故障維修文本數據的局限性，導致監護儀故障定位的范圍相對較廣。因此，未來工作將探索利用多模態數據對監護儀進行故障診斷，例如信號數據、分析模型等，通過混合故障診斷方法，進一步提高故障診斷的準確性與細粒度。
重要聲明
利益沖突聲明：本文全體作者均聲明不存在利益沖突。
作者貢獻聲明：賀祥飛主要負責算法程序設計、數據記錄與分析及論文編寫；張和華、黃靖主要負責項目主持、平臺搭建、論文審閱修訂、協調溝通以及計劃安排；趙德春主要負責提供實驗指導、數據分析指導以及論文審閱修訂；李洋、聶瑞、劉相花負責數據的記錄與分析以及論文的修訂。
